livrabil 5: recomandări și · îngrijire paliative 8710 crms-ii eficienţă şi eficacitate...

Livrabil 5: Recomandări și

evaluare

Task 6 – Recomandări și

evaluare

Componenta 2

Comisia Europeană - Structural Reform Support Service – SRSS/SC2017/003 Lot 1 “Asistență tehnică adresată Ministerului Muncii și Justiției Sociale din România în domeniul beneficiilor de asistență socială și serviciilor sociale”

Pagina 2 din 23

Cuprins

Abrevieri .................................................................................................................................................. 3 Lista tabelelor .......................................................................................................................................... 3 Lista căsuțelor text .................................................................................................................................. 3 Lista figurilor ............................................................................................................................................ 3 Introducere .............................................................................................................................................. 4 1. Modalități și metode de implementare a evaluărilor ..................................................................... 5

1.1 Sistemul de indicatori propus inițial pentru tipurile de servicii sociale selectate care au fost evaluate 5 1.2 Metode de colectare a datelor ............................................................................................... 7 1.3 Metode de analiză și prezentare a datelor ............................................................................ 9 1.4 Modalități de contactare a furnizorilor și beneficiarilor de servicii sociale ........................... 10

2. Recomandări privind organizarea funcției de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale ...................................................................................................................... 11

2.1 Modalități de extindere a exercițiului de evaluare................................................................ 11 2.2 Sistem de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale .......... 12

2.2.1 Asigurarea sustenabilității exercițiului de evaluare derulat ............................................. 12 2.2.2 Modalități de consolidare și dezvoltare a funcției de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale ............................................................................................ 13

2.3 Instruirea personalului Ministerului Muncii și Justiției sociale în domeniul evaluării și monitorizării ....................................................................................................................................... 21


Pagina 3 din 23

Abrevieri

Acronim Descriere

MMJS Ministerul Muncii şi Justiţiei Sociale

CAWI Computer Assisted Web Interviewing (Cercetare on line)

SWOT Strengths, Weaknesses, Opportunities, and Threats (Puncte Tari, Puncte Slabe,

Oportunități, Amenințări)

Lista tabelelor

Tabel 1 Centralizator privind categoriile de beneficiari, tipurile de servicii sociale și seturile de

indicatori calitativi .................................................................................................................................... 5

Tabel 2 Metode de colectare a datelor de la beneficiarii de servicii sociale – grad de adecvare, în

funcție de categoria de beneficiar ......................................................................................................... 11

Tabel 3 Exemple de întrebări de evaluare, în funcție de scopul evaluării ............................................ 13

Tabel 4 Etapele unui proces de evaluare ............................................................................................. 14

Tabel 5 Analiza opțiunilor de realizare a proiectelor de evaluare și monitorizare pe baza unor criterii

de selecție ............................................................................................................................................. 20

Tabel 6 Subiecte generale de instruire în domeniul evaluării și monitorizării serviciilor sociale .......... 21

Lista căsuțelor text

Căsuță text 1 Moduri prin care poată fi folosită evaluarea .................................................................... 16

Căsuță text 2 Opțiunea 1 – realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse

interne ale MMJS și organizațiile subordonate ..................................................................................... 20

Căsuță text 3 Opțiunea 2 – realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse

externe .................................................................................................................................................. 20

Căsuță text 4 Opțiunea 3 – realizarea proiectelor de evaluare și monitorizare folosind atât resurse

interne cât și resurse externe MMJS .................................................................................................... 20

Lista figurilor

Figura 1 Evaluare vs. monitorizare ....................................................................................................... 14


Pagina 4 din 23

Introducere

Prezentul raport reprezintă livrabilul final al Componentei 2 a proiectului, ce corespunde Task 6.

Recomandări și evaluare.

Raportul prezintă pe baza exercițiului de evaluare derulat în cadrul Componentei 2 a proiectului,

orientări privind modalitățile și metodele de implementare a evaluărilor în domeniul serviciilor sociale,

și formulează recomandări cu privire la organizarea funcției de evaluare și monitorizare la nivelul

Ministerului Muncii și Justiției Sociale.

În cadrul capitolului 1 al raportului sunt prezentate modalitățile și metodele de implementare a

evaluărilor, pe baza experienței exercițiului de evaluare derulat, în ceea ce privește: sistemul de

indicatori propus inițial pentru tipurile de servicii sociale selectate care au fost evaluate, metodele de

colectare a datelor, metodelor de analiză și prezentare a datelor și modalitățile de contactare a

furnizorilor și beneficiarilor de servicii sociale în vederea participării la exerciții de evaluare.

Capitolul 2 al raportului tratează modalitățile de extindere a exercițiului de evaluare dar și o serie de

opțiuni cu privire la consolidarea și dezvoltarea funcției de evaluare și monitorizare la nivelul Ministrului

Muncii și Justiției Sociale.

Anexa prezentului raport (constituită sub forma unui document separat) include varianta revizuită a

Ghidului pentru monitorizarea şi evaluarea calităţii serviciilor sociale dezvoltat în cadrul Task-ului 3 al

proiectului.


Pagina 5 din 23

1. Modalități și metode de implementare a evaluărilor

1.1 Sistemul de indicatori propus inițial pentru tipurile de servicii sociale selectate care au fost evaluate

Sistemul de indicatori calitativi definit iniţial pe tipuri de servicii sociale selectate în urma discuţiilor

purtate cu echipa MMJS acoperea doar trei din cele șapte categorii de beneficiari (persoane vârstnice,

persoane fără adăpost, persoane fără venituri sau cu venituri reduse), la care s-a adăugat o a patra

categorie, respectiv tinerii aflați în dificultate. Pentru aceste categorii de beneficiari au fost definite 14

seturi de indicatori calitativi grupaţi pe trei dimensiuni: eficienţă şi eficacitate, satisfacţia beneficiarului

şi impact social.

Tabel 1 Centralizator privind categoriile de beneficiari, tipurile de servicii sociale și seturile de indicatori calitativi

Servicii sociale conform legislaţiei (Legea 292/2011 şi HG 867/2015)/cod

nomenclator

Standard aplicabil

Indicatori

Unităţi de îngrijire la domiciliu 8810 ID-I

Anexa 8/ Ordin nr.2126/2014

Set 1

Eficienţă şi eficacitate Satisfacţia beneficiarului Impact social

1-25 26-49 50-68

Centre de tip respiro/centre de criză 8730 CR-V-II


Set 2


1-42 43-86 87-104

Centre de zi de asistenţă şi recuperare 8810 CZ-V-I


Set 3


1-36 37-74 75-95

Serviciile de asistenţă comunitară 8899CZ – PN - V


Set 4


1-22 23-47 48-61

Cămine pentru persoane vârstnice 8730 CR-V-I


Set 5


1-45 46-95 96-116

Locuinţe protejate 8730 CR-V-III


Set 6


1-39 40-87 88-113

Centre rezidenţiale medico-sociale 8710 CRMS-I


Set 7

Centre rezidenţiale de îngrijire paliative 8710 CRMS-II


1-27 28-48 49-63

Echipa mobilă 8899 SIS - I


Set 8

Servicii mobile de acordare a hranei - masa pe roţi 8899 CPDH - II

Ambulanța socială 8899 SIS – II


1-22 23-45 46-61

Servicii de asistență comunitară 8899CZ – PN - V


Set 9


1-22 23-48 49-64

Centre rezidenţiale de asistenţă şi reintegrare/integrare social 8790CR – PFA - I


Set 10


1-40 41-89 90-113


Pagina 6 din 23

Servicii sociale conform legislaţiei (Legea 292/2011 şi HG 867/2015)/cod

nomenclator

Standard aplicabil

Indicatori

Cantine sociale 8899CPDH-I


Set 11


1-22 23-46 47-61



Set 12


1-22 23-47 48-63

Serviciile de asistență comunitară 8899CZ – PN - V


Set 13


1-22 23-48 1-22

Centre multifuncţionale 8790CRT - I


Set 14

Centre de tranzit 8790CRT- II


1-39 40-88 89-112

Sursa: EY

Ghidul iniţial cuprindea o descriere detaliată a indicatorilor calitativi definiţi pentru fiecare categorie de

beneficiari şi serviciile sociale asociate, avute în vedere, indicatori dezvoltați pornind de la standardele

și sub-standardele minime de calitate definite prin legislația actuală. În cadrul sistemului iniţial au fost

definiţi indicatori calitativi corespunzători furnizorilor – manageri şi angajaţi şi beneficiari - persoane

vârstnice, reprezentanţi legali, convenţionali, familii ale acestora, persoane fără adăpost, persoane fără

venituri sau cu venituri reduse, tineri aflați în dificultate.

În faza următoare definirii indicatorilor calitativi, s-a trecut la testarea acestora. Exerciţiul de evaluare s-

a derulat în rândul furnizorilor şi beneficiarilor de servicii sociale pentru categoriile de servicii sociale

selectate de comun acord cu echipa MMJS, respectiv servicii de îngrijiri la domiciliu pentru persoanele

vârstnice; servicii cu cazare, organizate ca locuințe protejate pentru persoanele vârstnice; centre

rezidenţiale de asistenţă şi reintegrare/integrare socială a persoanelor fără adăpost. În cadrul

exerciţiului de evaluare a fost posibilă doar o operaţionalizare parţială a indicatorilor în cadrul

instrumentelor de colectare dezvoltate atât pentru furnizori, cât şi pentru beneficiari. În urma derulării

exerciţiului de evaluare şi analizei datelor colectate, au fost aduse două categorii de modificări ghidului

de indicatori calitativi:

• Modificări ale indicatorilor operaţionalizaţi şi pentru care s-au colectat date – seturile de indicatori

2,6,10;

• Modificări ale celorlalţi indicatori calitativi.

Disponibilitatea datelor pentru calculul indicatorilor

Exerciţiul de evaluare a pus în evidenţă faptul că:

• indicatorii calitativi permit colectarea de date care să faciliteze calculul acestora;

• indicatorii calitativi sunt fezabili din perspectiva resurselor de timp şi financiare necesare pentru

colectarea informaţiilor.

Modificările principale aduse seturilor de indicatori pentru care au fost operaţionalizaţi indicatori au avut

în vedere:

• modificarea scalelor de măsurare a percepţiei, fără a aduce atingere semnificaţiei datelor colectate

– scalele care fac referire la satisfacţie au fost înlocuite cu scale de măsurare care fac referire la

gradul de mulţumire.

• redefinirea parțială a indicatorilor cu schimbarea formulelor de calcul pentru acei indicatori care

aveau probabilitate crescută de obținere a unor răspunsuri incomplete;


Pagina 7 din 23

• definiţiile indicatorilor care fac referire la personal au fost completate (în anumite cazuri şi seturi de

indicatori) prin adăugarea precizării că se pot operaţionaliza, respectiv calcula şi pe diferite categorii

de personal (de specialitate şi auxiliar), în funcţie de necesităţile de evaluare.

• înlocuirea unor termeni cu privire la care s-a apreciat că pot genera confuzie în rândul anumitor

categorii de beneficiari – în cazul indicatorilor care fac referire la gradul de mulţumire al persoanelor

vârstnice cu privire la diferite caracteristici ale mediului de viaţă, a fost înlocuit termenul confort cu

dotare, considerat mai specific prin raportare la ce anume se doreşte măsurarea percepţiei.

• în cazul indicatorilor definiţi pentru dimensiunea impact social, operaţionalizarea în cadrul

instrumentelor de colectare necesită precizarea momentului de timp cu privire la care se face

comparaţia astfel încât să se poată urmări progresul de la un an la altul.

Modificările celorlalţi indicatori calitativi au vizat în principal armonizarea schemei de operaţionalizare

pentru a asigura comparabilitate cu indicatorii calitativi pentru care s-a derulat exerciţiul de evaluare.

Ca urmare a faptului că exerciţiul de evaluare nu a permis testarea unui număr mai mare de indicatori,

s-a decis păstrarea în cadrul ghidului a tuturor indicatorilor calitativi definiţi initial, inclusiv a celor definiţi

pentru anumite categorii de beneficiari (angajaţi în cazul furnizorilor, respectiv reprezentanţi legali,

convenţionali, familii ale persoanelor vârstnice în cazul beneficiarilor) chiar dacă aceştia nu au fost avuţi

în vedere în mod expres prin termenii de referinţă, datorită faptului că în anumite situaţii pot oferi o

evaluare mult mai corectă.

Ghidul final a păstrat schema de operaţionalizare pentru fiecare indicator: dimensiune (se indică

dimensiunea căreia îi corespunde indicatorul: eficienţă şi eficacitate, satisfacţia beneficiarului sau

impact social); definiţie (coincide cu definiţia indicatorului din Setul de indicatori definiţi per beneficiar şi

serviciul social corespondent), frecvenţa colectării (face referire la frecvenţa de colectare a datelor, cu

indicarea instrumentului - chestionar/interviu recomandat pentru colectarea datelor); măsurare/formulă

de calcul (unitatea de măsură, definirea numărătorului şi numitorului, în funcţie de modul de calcul

propus); scop/utilitate.

1.2 Metode de colectare a datelor

Conform solicitărilor MMJS din Caietul de Sarcini și din cadrul întâlnirililor de lucru organizate în cadrul

proiectului, echipa de experți a dezvoltat 3 instrumente de colectare a datelor (chestionare aplicate

furnizorilor de servicii sociale: servicii de îngrijiire la domiciliu pentru persoane vârstnice, locuințe

protejate pentru persoane vârstnice și centre rezidenţiale de asistenţă şi reintegrare/integrare socială

pentru persoanele fără adăpost) ce au fost aplicate prin tehnica CAWI (Computer-Assisted Web

Interviewing) utilizând softul SurveyMonkey® ce a fost agreat cu MMJS. Aceste chestionare au cuprins

întrebări închise, dar și deschise, ce au acoperit următoarele dimensiuni:

• Eficacitatea procesului de furnizare a serviciilor sociale;

• Eficiența serviciilor sociale;

• Satisfacția beneficiarilor (acoperire redusă ce derivă din grupul țintă care intră în exercițiul de

evaluare - furnizori de servicii sociale: manageri / personal de conducere);

• Impactul social al serviciilor sociale.

În cazul beneficiarilor de servicii sociale selectate (servicii de îngrijiire la domiciliu pentru persoane

vârstnice, locuințe protejate pentru persoane vârstnice și centre rezidenţiale de asistenţă şi

reintegrare/integrare socială pentru persoanele fără adăpost) au fost dezvoltate 3 fișe de interviu sub

formă de chestionare ce utilizează întrebări închise și deschise. La fel ca și în cazul chestionarelor

destinate furnizorilor de servicii sociale și chestionarele destinate beneficiarilor de servicii sociale au

cuprins întrebări închise, dar și deschise ce acoperă dimensiunile:

• Eficacitatea procesului de furnizare a serviciilor sociale (acoperire redusă ce derivă din grupul țintă

care intră în exercițiul de evaluare: beneficiari de servicii sociale);


Pagina 8 din 23

• Eficiența serviciilor sociale (acoperire redusă ce derivă din grupul țintă care intră în exercițiul de

evaluare: beneficiari de servicii sociale);

• Satisfacția beneficiarilor;

• Impactul social al serviciilor sociale.

Proceduri de eșantionare propuse

Baza de eșationare utilizată, atât pentru exercițiile de colectare a informațiilor în rândul furnizorilor de

servicii sociale, cât și pentru exercițiile de colectare a informațiilor în rândul beneficiarilor de servicii

sociale a fost Registrul electronic unic al furnizorilor și serviciilor sociale existent la data de 28.06.2018

și pus la dispoziția echipei de proiect de către echipa MMJS.

Pașii de selecție a furnizorilor de servicii sociale pentru cele 3 categorii de servicii sociale aflate în

evaluare (servicii de îngrijiire la domiciliu pentru persoane vârstnice, locuințe protejate pentru persoane

vârstnice și centre rezidenţiale de asistenţă şi reintegrare/integrare socială pentru persoanele fără

adăpost) au fost următorii:

Pas 1. Existența adresei de e-mail a furnizorului în baza de date (Registrul furnizorilor și serviciilor

sociale existent la data de 28.06.2018 și pus la dispoziția echipei de proiect de către MMJS) – păstrarea

furnizorului de servicii sociale în baza de date;

Pas 2. Existența unei licențe valide de funcționare la momentul derulării exercițiului de evaluare a

serviciului social (septembrie 2018) – păstrarea serviciului în baza de date.

Pentru exercițiile de colectare a informațiilor în rândul beneficiarilor de servicii sociale, echipa de proiect

a propus ca în completarea celor doi pași expuși anterior să existe un filtru al furnizorilor de servicii

sociale care să îi păstreze în baza de eșantionare doar pe cei care au răspuns afirmativ la exercițiile

de colectare a informațiilor pe bază de chestionar în rândul furnizorilor. În acest fel s-a considerat că s-

ar reduce rata de refuz din partea furnizorilor în a asigura acces la beneficiari. Acest aspect a fost agreat

cu MMJS.

Pentru exercițiile de colectare a informațiilor în rândul furnizorilor de servicii sociale, grupul țintă a fost

reprezentat de manageri/personal de conducere al unităților ce furnizează servicii sociale pentru

categoriile de beneficiari selectate de MMJS (persoane vârstnice și persoane fără adăpost). Având în

vedere numărul relativ mic de furnizori de servicii sociale existenți în Registrul furnizorilor și serviciilor

sociale existent la data de 28.06.2018, echipa de proiect a propus implementarea celor 3 exerciții de

colectare a informațiilor prin chestionare CAWI (Computer Assisted Web Interviewing) în luna

septembrie a anului 2018 prin utilizarea metodei exhaustive de investigare (trimiterea chestionarelor

către toți furnizorii de servicii sociale existenți în Registrul furnizorilor și serviciilor sociale la data de

28.06.2018 și care au rămas în baza de date în urma procedurii de selecție specificată mai sus).

Pentru exercițiile de colectare a informațiilor în rândul beneficiarilor de servicii sociale, grupul țintă a

fost reprezentat de: persoane vârstnice care beneficiază de servicii de îngrijiire la domiciliu, persoane

vârstnice care beneficiază de servicii sociale în locuințe protejate pentru persoane vârstnice și persoane

fără adăpost care beneficiază de servicii sociale în centre rezidenţiale de asistenţă şi

reintegrare/integrare socială pentru persoanele fără adăpost. Echipa de proiect a propus o selecție

probabilistică a punctelor de eșantionare (respectiv a furnizorilor de servicii sociale) după variabila

regiune de dezvoltare în primă etapă, urmată apoi de o selecție probabilistică a beneficiarilor, dar cu

utilizarea unor cote egale de respondenți în raport cu variabila sex. Acest exercițiu de eșantionare vine

în sprijinul sporirii capacității personalului MMJS de a înțelege modul de realizare a eșantioanelor

probabilistice (cu reprezentativitate statistică) și neprobablistice.

Analiza SWOT a exerciţiilor de evaluare realizatea a pus în evidenţă următoarele aspecte:

• Colectarea datelor de anchetă în rândul furnizorilor prin ancheta CAWI (Computer Assisted Web

Interviewing) reprezintă o modalitate relativ accesibilă ca și cost în implementare, dar ridică


Pagina 9 din 23

problema non-răspunsurilor crescute. Realizarea unor anchete pe eșantioane reprezentative

statistice pentru furnizorii intervievați poate fi un proces greu de implementat prin metoda CAWI în

lipsa unor resurse umane bine pregătite în implementarea anchetelor prin tehnici CAWI.

• Cadrul de eșantionare utilizat (Registrul electronic unic al furnizorilor și serviciilor sociale) nu

cuprinde pentru toți furnizorii/serviciile, adrese de e-mail/telefon care să permită derularea unor

anchete CAWI. De ceea, este important pe viitor a se completa aceste informații în registrul oficial.

• Colectarea datelor de anchetă în rândul beneficiarilor prin intervievare față în față reprezintă cea

mai bună modalitate de culegere a datelor în cazul beneficiarilor de servicii sociale. Acest lucru

generează costuri ridicate de implementare, mai ales în cazul anchetelor ce se doresc a fi

reprezentative statistic pentru populația de beneficiari de servicii sociale.

1.3 Metode de analiză și prezentare a datelor

În cadrul exerciţiului de evaluare, personalul MMJS a fost instruit în derularea de analize statistice

descriptive şi inferenţiale. Statistica descriptivă (indicatori ai tendinţei centrale, indicatori ai dispersiei)

permite descrierea, sintetizarea datelor în diferite moduri, în timp ce statistica inferenţială permite

identificarea legăturilor dintre variabile/grupuri de variabile, definirea şi testarea unor ipoteze diverse.

Datele colectate în urma derulării exerciţiului de evaluare au fost preponderent date calitative

(nenumerice) nominale şi ordinale. A existat un număr destul de însemnat de întrebări deschise prin

care s-au colectat opinii, motivaţii care au fost supuse unor proceduri de postcodificare, respectiv de

grupare a răspunsurilor în categorii definite în faza de analiză a datelor. Datorită specificului, datele

colectate în cadrul exerciţiului de evaluare au permis derularea de analize utilizînd tehnici descriptive –

calcularea unor indicatori ai tendinţei centrale (frecvenţe absolute şi frecvenţe relative). Modalităţile de

prezentare a datelor au inclus graficele de tip bară şi plăcintă.

Pentru analiza datelor colectate se recomandă:

• Definirea sintaxei bazei de date aferentă instrumentului de colectare şi a scalelor de măsurare

pentru fiecare variabilă, ţinând cont de specificul acestora (cantitative, calitative).

• Transformarea unor variabile din calitative în cantitative, astfel încât să poată fi derulate prelucrări

ulterioare.

• Alegerea metodei de analiză statistică în funcţie de tipul variabilelor şi de scalele pe care sunt

acestea măsurate. Calcularea indicatorilor tendinţei centrale în funcţie de specificul datelor,

respective frecvenţe absolute şi relative, mediană şi modul pentru situaţia în care datele sunt

calitative (exprimate prin cuvinte) de tipul datelor socio-demografice (mediu de rezidenţă, ultima

şcoală absolvită, vârsta, sex), date categoriale (tipul de serviciu social furnizat, etc.); frecvenţe

absolute şi relative, medie, mediană, modul, cuartile pentru situaţia în care datele sunt cantitative

(de tip interval sau de raport).

• Ulterior se pot calcula tabele de contingenţă care să pună în evidenţă legături posibile între datele

colectate.

În fazele ulterioare ale analizei se pot defini şi testa ipoteze diverse, prin aplicarea de tehnici

parametrice şi non parametrice în funcţie de tipul variabilelor disponibile şi de scalele de măsurare.

Pentru variabilele cantitative cu distribuţie normală (de tipul vârstă, venituri disponibile, costul îngrijirii,

etc.) se pot aplica teste parametrice (de ex. corelaţia Person, testul t pentru eşantioane

independente/dependente, analiza varianţei în sens unic), non parametrice pentru variabile cantitative

fără distribuţie normală şi variabile ordinale/nominale (de ex. testul Chi-pătrat al asocierii, Spearman,

Kendall).

În concluzie, recomandările în ceea ce priveşte metodele de analiză şi prezentare a datelor au în vedere

aplicarea metodelor de analiză descriptivă şi/cele inferenţiale în funcţie de tipul datelor colectate. Se

recomandă de asemenea colectarea, alături de datele calitative şi a unor date cantitative (de ex.

venituri, costuri aferente serviciilor sociale, valoarea salariului pe categorii de personal etc.) astfel încât

să poată fi derulate analize mai aprofundate care să completeze, să explice şi să ajute la formularea


Pagina 10 din 23

unor concluzii. Se recomandă prezentarea datelor în vederea calculării indicatorilor sub formă de

grafice (de tip bară sau plăcintă), tabele.

1.4 Modalități de contactare a furnizorilor și beneficiarilor de servicii sociale

Contactarea furnizorilor de servicii sociale s-a făcut pe bază de e-mail/telefon. În cazul beneficiarilor au

fost pregătite scrisori oficiale semnate de conducerea MMJS prin care s-a solicitat colaborarea cu

operatorii de anchetă în vederea realizării interviurilor.

Pentru a obține rate ridicate de răspuns la chestionarele aplicate CAWI este necesar să fie parcurși cel

puțin următorii pași:

Pas 1. Crearea uneui adrese de e-mail special destinată proiectului de evaluare a a serviciilor la

momentul t;

Pas 2. Elaborarea unei adrese oficiale (MMJS) prin care să se explice scopul anchetei, adresă care să

însoțească e-mail-ul de trimitere a link-ului de chestionar;

Pas 3. Revenirea de cel puțin 3 ori cu e-mail-uri de reamintire a completării link-ului chestionarului.

În cazul beneficiarilor sunt necesare scrisori oficiale semnate de conducerea MMJS prin care se va

solicita colaborarea cu operatorii de anchetă în vederea realizării interviurilor.


Pagina 11 din 23

2. Recomandări privind organizarea funcției de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale

2.1 Modalități de extindere a exercițiului de evaluare

Modalități de extindere a exercițiului de evaluare – perspectiva contactării furnizorilor și

beneficiarilor de servicii sociale

În vederea derulării unui exercițiu de evaluare de succes, gradul de participare și implicare a grupului

țintă în procesul de colectare a datelor este considerat a fi important, indiferent de categoria serviciului

social evaluat. Așadar, având în vedere experiența exercițiului de evaluare derulat în cadrul proiectului,

se recomandă utilizarea unor scrisori prin care să se solicite participarea în cadrul evaluării fie

furnizorilor de servicii sociale, fie beneficiarilor de servicii sociale, după caz. Mai mult decât atât, în

situația în care grupul țintă pentru colectarea datelor este format din beneficiari, în funcție de tipul de

serviciu contactat și de benefeciar, accesul la aceștia din urmă, urmează sa fie asigurat de furnizorul

respectiv în baza unei scrisori din partea MMJS.

Modalități de extindere a exercițiului de evaluare – perspectiva metodelor de colectare a

datelor

Ghidul pentru monitorizarea şi evaluarea calităţii serviciilor sociale include indicatori dezvoltați pentru o

serie de servicii sociale. În scopul exercițiului de evaluare derulat, conform selecției făcută de Ministerul

Muncii și Justiției Sociale într-o etapă anterioară a proiectului, au intrat următoarele categorii de servicii:

pentru categoria de beneficiari persoane vârstnice – unități de îngrijire la domiciliu (8810 ID-I) și locuințe

protejate (8730 CR-V-III) iar pentru categoria de beneficiari persoane fără adăpost – centre rezidențiale

de asistență și reintegrare/integrare socială (8790CR-PFA-I).

Metodele de colectare a datelor de la beneficiarii de servicii sociale pot fi diferite din perspectiva

categoriei de beneficiari din grupul țintă. Mai exact, anumite metode de colectare a datelor pot fi mai

potrivite decât altele, în funcție de natura serviciului social evaluat (și implicit a categoriei de beneficiari

cărora i se adresează). Așadar, tabelul de mai jos își propune să prezinte într-o manieră sintetică gradul

de adecvare a două dintre cele mai comune și recomandate metode de colectare a datelor, din

perspectiva extinderii exercițiului de evaluare, la nivelul MMJS.

Tabel 2 Metode de colectare a datelor de la beneficiarii de servicii sociale – grad de adecvare, în funcție de categoria de beneficiar

Servicii sociale Metode de colectare a datelor de la beneficiarii de servicii sociale

Comentarii

Beneficiar

Tip de intervenție

Servicii acoperite Anchetă pe bază de chestionar

Chestionar administrat online

Persoane vârstnice

Non-rezidențială sau rezidențială temporară (centre respiro + centre de zi de recuperare)

Centre de tip respiro/centre de criză 8730 CR-V-II Recomandabil Nerecomandabil

Lipsa cadrului de eșantionare (lipsa

adreselor de e-mail ale beneficiarilor) dar și

probabilitatea ca

beneficiarii să utilizeze/să aibă acces

la dispozitive electronice moderne

Centre de zi de asistenţă şi recuperare 8810 CZ-V-I

Recomandabil Nerecomandabil

Asistență comunitară

Serviciile de asistenta comunitara 8899CZ – PN - V


Rezidențială Cămine pentru persoane vârstnice 8730 CR-V-I


UMS Centre rezidenţiale medico- Recomandabil Nerecomandabil


Pagina 12 din 23

Servicii sociale Metode de colectare a datelor de la beneficiarii de servicii sociale

Comentarii

Beneficiar

Tip de intervenție

Servicii acoperite Anchetă pe bază de chestionar

Chestionar administrat online

sociale 8710 CRMS-I

care este considerată a fi mai scăzută față de

alte categorii de populație, recomandă colectarea datelor prin utilizarea anchetei pe bază de chestionar.

Centre rezidenţiale de îngrijire paliative 8710 CRMS-II


Persoane fără adăpost

Unități mobile Echipa mobilă 8899 SIS - I


Ambulanța socială 8899 SIS - II





Persoane fără venituri sau cu venituri reduse

Hrană Cantine sociale 8899CPDH-I


Servicii mobile de acordare a hranei - masa pe roţi 8899 CPDH - II





Tineri aflați în dificultate


Serviciile de asistență comunitară 8899CZ – PN - V

Recomandabil Recomandabil

Rezidențial Centre multifuncţionale 8790CRT - I


Centre de tranzit 8790CRT- II


Sursa: EY

În ceea ce privește metodele calitative de colectare a datelor (i.e. focus grup), se consideră că aceasta

sunt potrivite situațiilor care necesită o redefinire a sistemului de indicatori sau situațiilor care presupun

clarificarea anumitor aspecte rezultate în urma derulării unui exercițiu de evaluare.

Cu privire la metodele de colectare a datelor de la furnizorii de servicii sociale, indiferent de tipul

serviciului social acordat, se consideră potrivită colectarea de date prin intermediul chestionarelor

administrate online (i.e. softuri CAWI) dar și prin intermediul anchetelor pe bază de chestionar.

Modalități de extindere a exercițiului de evaluare – perspectiva metodelor de analiză și

interpretare a datelor

Cu privire la analiza și interpretarea datelor, nu apar diferențe în funcție de grupul țintă utilizat pentru

colectarea datelor. Metodele statistice de analiză și interpretare se aplică în același mod, indiferent de

subiecții investigați.

Totuși, recomandările referitoare la metodele de analiză şi prezentare a datelor vizează aplicarea

metodelor de analiză descriptivă şi/cele inferenţiale în funcţie de tipul datelor colectate.

2.2 Sistem de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale

2.2.1 Asigurarea sustenabilității exercițiului de evaluare derulat

În vederea asigurării sustenabilității exercițiului de evaluare derulat, recomandăm adoptarea unei serii

de măsuri care să vină în întâmpinarea soluționării aspectelor ridicate în cadrul exercițiului de evaluare

derulat, în măsura în care sunt considerate relevante și de către Ministerul Muncii și Justiției Sociale.

Mai specific, cel puțin două acțiuni sunt necesare în această direcție:

• utilizarea rezultatelor exercițiului de evaluare derulat în cadrul acestui proiect în vederea adoptării

unei serii de măsuri care să adreseze o parte dintre aspectele semnalate (de exemplu: completarea


Pagina 13 din 23

Registrului electronic unic al furnizorilor și serviciilor sociale existent la data de 28.06.2018 și pus la

dispoziție echipei de proiect, cu informațiile lipsă).

• consolidarea și dezvoltarea funcției de monitorizare și evaluare la nivelul Ministerului Muncii și

Justiției Sociale care să se asigure nu doar de planificarea și realizarea exercițiilor de monitorizare

și evaluare necesare, în funcție de politicile publice gestionate de către acesta, dar și de integrarea

concluziilor și recomandărilor acestora în planificarea strategică la nivelul MMJS.

În acest sens, sub-capitolul de mai jos furnizează o imagine de ansamblu cu privire la:

• ceea ce se așteaptă de la un proces de evaluare și monitorizare;

• posibilitățile în care funcția de evaluare ar putea fi consolidată și dezvoltată la nivelul ministerului;

• ceea ce produce activitatea de evaluare;

• modurile în care pot fi utilizate rezultatele unei evaluări.

2.2.2 Modalități de consolidare și dezvoltare a funcției de evaluare și monitorizare la nivelul Ministerului Muncii și Justiției Sociale

Evaluare: definiție, scop, întrebări de evaluare

Comisia Europeană definește evaluarea drept o “judecată cu privire la valoarea unei intervenții (de

regulă) publice în funcție de anumite criterii și standarde explicite (ex. relevanță, eficiență,

sustenabilitate, echitate, etc). Judecata se referă de obicei la nevoile cărora intervenția trebuie să le

răspundă și la efectele produse de aceasta. Evaluarea se bazează pe informații care sunt colectate și

interpretate special pentru a veni în sprijinul judecății (de exemplu: evaluarea calității unui serviciu

destinat publicului, evaluarea eficacității unui program, evaluarea cost-beneficiu a unui program și

evaluarea validității unei politici)1”.

Pe lângă scopul său general de a aduce o contribuție majoră unui anumit domeniu al politicilor publice

și al programelor/serviciilor destinate publicului aferente, evaluarea prezintă o serie de scopuri

particulare, precum:

• Planificare / eficiență – să se asigure că există o justificare clară pentru anumite politici/programe

și că resursele sunt utilizate în mod eficient;

• Responsabilizare – să demonstreze măsura în care un program si-a extins obiectivele, cât de

eficient au fost utilizate resursele si care este impactul său;

• Implementare – să îmbunătățească performanța programelor și eficiența modului în care acestea

sunt aplicate si administrate;

• Întărirea capacității instituționale – îmbunătățirea și dezvoltarea capacității participanților la

program, a rețelelor si instituțiilor acestora.

În funcție de aceste scopuri, diverșii beneficiari ai evaluării vor fi interesați de răspunsurile la diferitele

întrebări de evaluare. Exemple de întrebări de evaluare, definite în funcție de scopul evaluării sunt

prezentate în tabelul de mai jos.

Tabel 3 Exemple de întrebări de evaluare, în funcție de scopul evaluării

Scopul evaluării Utilizatorul evaluării Exemple de întrebări de evaluare

Planificarea / eficiența Evaluarea va fi utilă în principal persoanelor responsabile cu planificarea cu elaborarea politicilor.

• Acesta este cel mai bun mod în care pot fi utilizați banii publici?

• Există modalități alternative de folosire a resurselor care pot aduce beneficii sporite?

• Există o echivalență între costurile implicate și beneficiile preconizate?

1 Comisia Europeană. EVALSED: Resursa pentru evaluarea dezvoltării socio-economice. Manualul pentru

Evaluarea Dezvoltării Socio-Economice.


Pagina 14 din 23

Scopul evaluării Utilizatorul evaluării Exemple de întrebări de evaluare

Responsabilizarea Evaluarea va răspunde acelor părți interesate care, după aprobarea de programe sau politici, doresc să afle ce s-a întâmplat cu resursele alocate.

• Care a fost succesul înregistrat de programul în cauză? • Au fost îndeplinite obiectivele programului? • Banii au fost cheltuiți în mod eficient și care a fost impactul

înregistrat?

Implementarea Evaluarea va fi utilă managerilor de programe

• Este managementul eficient? • Partenerii de program sunt implicați corespunzător? • Este definită eligibilitatea (ce zone, ce grupuri țintă sunt

eligibile pentru a primi asistență prin program)?

• Este respectat graficul de timp stabilit?

Întărirea capacității

instituționale

Evaluarea va fi utilă partenerilor implicați în program și altor părți interesate. Aceștia vor fi interesați de modul în care își pot spori eficiența, de modul în care capacitățile lor pot fi extinse sau de modul în care beneficiarii pot obține maximum din ceea ce un program poate oferi.

• Sunt beneficiarii (inclusiv comunitățile locale) suficient de implicați în conceperea programului și a măsurilor aferente?

• Ce se poate face pentru a spori nivelul de participare și pentru a obține consensul?

• Mecanismele programului asigură suficient sprijin, iar abordarea este descentralizată?

Sursa: Comisia Europeană. EVALSED: Resursa pentru evaluarea dezvoltării socio-economice. Manualul pentru Evaluarea

Dezvoltării Socio-Economice.

Funcția de evaluare este strâns legată de funcția de monitorizare, acesta din urmă fiind principalul

furnizor de date pentru realizarea evaluării. Figura de mai jos ilustrează sinergiile dintre cele două

funcții.

Figura 1 Evaluare vs. monitorizare

Sursa: Procesul Evaluării. Curs adresat Comitetului de Coordonare a Evaluării, disponibil la http://www.evaluare-

structurale.ro/images/stories/Documente/Beginner/01_ppoint%20training%20esc%20-%20evaluarea.pdf, accesat în

12.02.2019.

În general, un proces de evaluare presupune parcurgerea următoarelor etape:

Tabel 4 Etapele unui proces de evaluare

Etapă Activități și aspecte necesare etapei

Planificarea evaluării Planificarea evaluării presupune: ► Definirea obiectului evaluării ► Identificarea și implicarea părților interesate ► Analiza obiectivelor politicii care stau la baza

intervențiilor

Definirea întrebărilor și criteriilor de evaluare Definirea întrebărilor de evaluare este o parte esențială a începutului oricărui exercițiu de evaluare. Întrebările de evaluare, care includ criterii de apreciere (evaluare) se încadrează în principal într-una dintre următoarele patru categorii: relevanță, eficacitate, eficiență și utilitate.


Pagina 15 din 23

Etapă Activități și aspecte necesare etapei

O dată ce întrebările de evaluare au fost stabilite, trebuie analizată evaluabilitatea lor.

Alegerea metodelor de evaluare La întrebările de evaluare se poate răspunde în mai multe feluri. De aceea, alegerea metodei este esențială pentru a utiliza la maxim resursele de evaluare disponibile.

Atribuirea responsabilităților și alocarea resurselor Decizii cu privire la patru aspecte trebuie luate: ► Motivele pentru elaborarea evaluărilor ► Cine este responsabil pentru exrcițiul de evaluare ► Care este bugetul evaluării ► Cine realizează evaluarea (evaluarea ar trebui

realizată de o echipă externă sau ar trebui să fie elaborată intern?)

Scrierea Caietului de Sarcini Caietul de Sarcini reprezintă documentul care servește ca bază a relației contractuale dintre contractantul unei evaluări și echipa de evaluatori responsabilă pentru realizarea evaluării. Elaborarea Caietului de Sarcini este un pas vital atunci când evaluarea trebuie să fie realizată de către consultanți externi.

Implementarea și managementul evaluării În situația în care evaluarea se realizează de o echipă externă, este necesară asigurarea alegerii evaluatorilor potriviți (prin elaborarea cu atenție a Caietului de Sarcini și organizarea unui proces de selecție riguros). După începerea evaluării, managementul unei evaluări necesită a interacțiune continuă și semnificativă între toți partenerii implicați (inclusiv echipa de evaluare în sine).

Administrarea și asigurarea comunicării în procesul de evaluare

Comunicarea este o parte importantă a procesului de evaluare. Comunicarea trebuie să fie de preferat un proces constant: un prilej pentru dialog și pentru acumularea înțelegerii rezultată din evaluare.

Managementul asigurării calității și al controlului calității Analiza calității unei evaluări reprezintă o parte integrantă și fundamentală a procesului de evaluare. O evaluare care nu întrunește minime standarde de calitate poate să inducă în eroare factorii de decizie și managerii de program.

Sursa: Comisia Europeană. EVALSED: Resursa pentru evaluarea dezvoltării socio-economice. Manualul pentru Evaluarea

Dezvoltării Socio-Economice.

Utilitatea evaluării și utilizarea rezultatelor acesteia

Utilitatea evaluării poate fi cuantificată prin intermediul celor trei elemente asupra cărora contribuie,

respectiv învățare, responsabilizare și explicare2:

• Învățare: Evaluările conduc la învățare în două moduri: prin implicare și prin colaborare. Învățarea

se referă la ceea ce oamenii știu și la ceea ce trebuie să știe pentru a-și îndeplini cu succes

îndatoririle. Procesul de învățare trebuie să-i implice pe toți partenerii și ar trebui să aibă loc în toate

etapele ciclului de viață al evaluării;

• Responsabilizare: Evaluarea contribuie la demonstrarea răspunderii. O responsabilizare adecvată

înseamnă elaborarea unor politici corecte. De asemenea, responsabilizarea trebuie să-i implice pe

toți partenerii și să fie un proces continuu;

• Explicare: Evaluarea trebuie să explice de ce se întâmplă lucrurile. În acest fel, pot fi învățate lecții

și pot fi îmbunătățite programele actuale și viitoare.

2 Editor: Unitatea Centrală de Evaluare, Autoritatea pentru Coordonarea Instrumentelor Structurale, Evaluarea:

un instrument cheie pentru îmbunătățirea sistemului instrumentelor structurale, Octombrie 2011, disponibil la http://www.evaluare-structurale.ro/images/stories/Documente/brosura/evaluarea-un%20instrument%20cheie.pdf, accesat: 29/01/2019.


Pagina 16 din 23

Realizarea unei evaluări se justifică numai dacă aceasta conduce la utilizarea rezultatelor sale și

contribuie la îmbunătățirea cunoașterii în rândul celor care au efectuat-o. În general, pot fi definite cel

puțin trei moduri3 prin care evaluarea poate fi folosită:

Căsuță text 1 Moduri prin care poată fi folosită evaluarea

1. Evaluările pot fi folosite în mod direct sau într-o manieră “instrumentală” prin care sunt

utilizate în practică rezultatele, constatările, concluziile și recomandările acestora.

2. Unele evaluări sau evaluările combinate cu alte dovezi și opinii sunt folosite cumulativ

pentru a furniza o bază informațională pentru dezbateri și a influența factorii de

decizie.

3. Chiar și când rezultatele evaluării nu sunt folosite, procesul de inițiere și reflectare asupra

evaluării poate fi util datorită ocaziilor pe care le furnizează de a schimba informații, de a

clarifica raționamente și de a dezvolta un cadru de dialog.

Dezvoltarea capacității de evaluare și monitorizare

Pentru a putea oferi beneficii sustenabile, dezvoltarea capacității de evaluare și monitorizare presupune

un proces de dezvoltare care necesită timp. Totuși, evaluarea nu reprezintă un proces de sine-stătător:

aceasta necesită un cadru instituțional adecvat și trebuie totodată să fie integrată în cadrul unor

reglementări instituționale.

Deși în unele situații capacitatea de evaluare și monitorizare evoluează în mod organic într-un lung

interval de timp, în cele mai multe cazuri însă e nevoie de o strategie și un plan concret pentru ca

evaluarea să devină funcțională într-un interval de timp dat.

Există multe decizii cheie, de natură strategică, ce trebuie luate în momentul începerii dezvoltării

capacității de evaluare și monitorizare. Printre cele mai importante se numără următoarele:

• arhitectura: localizarea și structurarea funcțiilor de evaluare și monitorizare și coordonarea acestora;

• consolidarea cererii de evaluare și monitorizare: existența unei cereri pentru evaluare eficace și bine

structurată;

• consolidarea ofertei de evaluare și monitorizare: existența aptitudinilor și a competențelor necesare

cu un sprijin organizațional adecvat;

• instituționalizarea evaluărilor și a monitorizărilor: integrarea evaluării și a monitorizării în cadrul

sistemelor de elaborare a politicilor și totodată în cadrul sistemului mai larg de politici.

Capacitatea de evaluare și monitorizare prezintă fațete multiple și poate fi localizată la diferite nivele

care se sprijină reciproc. De exemplu, există un4:

• nivel individual, ce constă în aptitudinile și competențele necesare;

• nivel organizațional, al cadrului și al structurilor manageriale;

• nivel inter-organizațional, ce acționează ca o punte de legătură între administrațiile publice și

organizațiile private prin intermediul unor rețele, proceduri și parteneriate;

3 Comisia Europeană. EVALSED: Resursa pentru evaluarea dezvoltării socio-economice. Manualul pentru

Evaluarea Dezvoltării Socio-Economice. 4 Comisia Europeană. EVALSED: Resursa pentru evaluarea dezvoltării socio-economice. Manualul pentru

Evaluarea Dezvoltării Socio-Economice.


Pagina 17 din 23

• nivel societal, care integrează gândirea evaluativă în cadrul societății civile - incluzând aici

organizațiile profesionale - dar și în cadrul sectorului public.

Pentru consolidarea și dezvoltarea capacității de evaluare și monitorizarea la nivelul Ministerului Muncii

și Justiției Sociale pot fi avuți în vedere o serie de pași strategici orientativi, prezentați în cele ce

urmează5. Mai mult decât atât, se recomandă definirea unei strategii care să stabilească modul în care

proiectele de evaluare și monitorizare să fie realizate la nivelul MMJS (în acest sens, mai jos sunt

prezentate opțiuni de realizare a proiectelor de evaluare și monitorizare fie cu resurse interne ale MMJS

și organizațiile subordinate, fie cu resurse externe, fie folosind atât resurse interne cât și resurse externe

MMJS). Așadar, pentru pașii de mai jos, sunt detaliate anumite activități necesar a fi întreprinse, în

situația în care proiectele de evaluare și monitorizare se vor realiza cu resurse externe.

Pasul 1: Definirea profilului, rolurilor, atribuțiilor și resurselor necesare funcției de evaluare și

monitorizare

• Profil

Funcția de evaluare și monitorizare trebuie prevăzută în mod distinct în structura Ministerului Muncii și

Justiției Sociale, organigrama sau regulamentele interne de funcționare, furnizând detalii despre

direcția/serviciul/compartimentul/persoanele responsabile. Această formalizare a funcției de evaluare

și monitorizare este necesară în vederea asigurării resurselor necesare dar și a integrării acestei

activități în fluxul obișnuit de lucru la nivelul MMJS.

• Rolul și atribuții

Rolul evaluării și monitorizării trebuie definit în mod clar și distinct de rolurile altor funcții. Prin realizarea

de monitorizări și evaluări, funcția de monitorizare și evaluare oferă sprijin în formularea politicilor în

domeniul protecției sociale precum și în procesele de management. În îndeplinirea acestui rol, funcţia

de monitorizare și evaluare va:

• coordona activităţile de monitorizare și evaluare; • stabili un plan anual de evaluare care va include și planul de monitorizare; • coordona şi monitoriza implementarea acestui plan; • promova calitatea metodologică şi continuitatea activităţilor de monitorizare și evaluare; • asigura ca rezultatele evaluării sunt utile pentru definirea priorităţilor în domeniul politicilor

sociale de asemenea, pentru îmbunătăţirea calităţii politicilor, programelor şi activităţilor.

• Resurse

Resursele umane, financiare și de infrastructură necesare derulării activității de monitorizare și evaluare

vor fi clar identificate şi planificate. Aceste resurse trebuie să fie suficiente în vederea implementării

planului anual de evaluare și a celui de monitorizare definit.

Resursele alocate funcţiei de evaluare și monitorizare vor fi adecvate în ceea ce priveşte fondurile,

personalul necesar şi pregătirea profesională a acestuia astfel încât să asigure îndeplinirea

corespunzătoare a responsabilităţilor ce le revin. Pregătirea profesională a resurselor alocate funcției

de evaluare și monitorizare vizează deținerea de experiență în ceea ce privește, de exemplu, analiza

statistică a datelor, aplicarea metodelor cantitative de colectare a datelor dar și deținerea unei

experiențe tematice în domeniul serviciilor sociale.

Pasul 2: Asigurarea managementului activităților de monitorizare și evaluare

5 EY, pe baza Standarde de Evaluare. Ministerul Fondurilor Europene.


Pagina 18 din 23

• Planificarea

În vederea derulării activităților de monitorizare și evaluare, se va elabora un plan anual de evaluare.

Planul va indica activitățile de evaluare pe care MMJS intenționează să le desfășoare. Planul va

cuprinde o estimare a resurselor umane și financiare necesare implementării acestuia. Mai exact o

structură indicativă a unui plan de evaluare include6:

• Contextul de elaborare a planului de evaluare; • Obiectivele planului de evaluare; • Proiectele de evaluare planificate (inclusiv sugerarea metodologiei de evaluare); • Bugetul aferent evaluărilor planificate; • Sistemul recomandat pentru achiziția de servicii externe de evaluare; • Calendarul proiectelor de evaluare; • Tipul de date care urmează a fi colectate prin activitatea de monitorizare; • Calendarul procesului de colectare a datelor; • Utilizarea și comunicarea rezultatelor evaluărilor.

În ceea ce privește estimarea bugetului aferent proiectelor de evaluare planificate, o serie de ipoteze

de bugetare pot fi luate în considerare. Mai exact, bugetul estimat pentru fiecare proiect de evaluare (în

situația în care evaluarea se va realiza cu evaluatori externi), poate fi format din:

• Onorariile experților calculate în funcție de numărul estimat de zile necesare pentru fiecare proiect de evaluare și o rata medie de X EUR / zi. Numărul de zile necesare pentru fiecare proiect de evaluare poate fi estimat luând în considerare experiența în efectuarea evaluărilor în diferite alte state membre, în domeniul evaluării calității serviciilor sociale, dar și factori precum: metodologia sugerată pentru proiectul de evaluare, natura serviciilor sociale ce urmează a fi evaluate, numărul de grupuri țintă și accesibilitatea acestora.

• Cheltuieli conexe. Categoriile tipice de cheltuieli conexe includ de exemplu: organizare de evenimente (cum ar fi evenimente de diseminare a concluziilor raportului de evaluare), inclusiv închirierea de săli și echipamente, cheltuieli pentru servicii de restaurant / catering pentru participanți, servicii de interpretariat; imprimare / producție de materiale de informare și materiale promoționale legate de evenimente; cazare si transport pentru participanții la evenimente. În plus, este necesar să se ia în considerare și cheltuieli pentru colectarea datelor (inclusiv cu premiile acordate respondenților; experiența altor state membre arată astfel de cheltuieli cu respondenții, s-au dovedit a fi utile pentru asigurarea co-participării și, prin urmare, a unei rate de răspuns acceptabilă din partea participanților la procesul de colectare a datelor).

• Exploatarea rezultatelor: transmiterea rezultatelor şi luarea în considerare a acestora în

procesul de decizie

Este necesar ca toate tipurile de rezultate ale evaluării să fie transmise efectiv tuturor persoanelor

implicate în procesul de luare a deciziilor (persoane de conducere şi alţi factori interesaţi, inclusiv

persoane responsabile cu formularea politicilor). Funcţia de evaluare și monitorizare va monitoriza

implementarea recomandărilor rapoartelor de evaluare elaborate, prin intermediul unui plan de urmărire

a acestora (follow up).

Rezultatele evaluărilor pot fi puse la dispoziția publicului, cu excepția situațiilor în care confidențialitatea

este impusă. Este recomandabil ca acestea să fie transmise/comunicate într-un format care să

întrunească nevoile celor implicaţi în procesul decisional și ale cetăţenilor/beneficiarilor.

Pasul 3: Derularea procesului de evaluare

• Proiectul de evaluare

6 EY, pe baza Planului de Evaluare aferent Programului Operațional Capitalul Uman 2014-2020. Octombrie

2015. Ministerul Fondurilor Europene.


Pagina 19 din 23

Fiecare evaluare poate va fi structurată sub forma unui proiect care să cuprindă trei faze separate:

elaborare, implementare şi exploatare. Este necesar să se stabilească cine va lua parte în aceste trei

faze, în concordanţă, acolo unde este cazul, cu regulile şi procedurile interne aplicabile.

La elaborarea oricărui proiect de evaluare (indiferent de modul în care va fi realizat acesta, respectiv

intern sau extern), aria de acoperire a evaluării va fi în mod clar definită. Proiectul de evaluare va

cuprinde cel puțin următoarele puncte:

• contextul, motivul şi scopul evaluării; • cui i se adresează şi cine o va utiliza; • aria de cuprindere a evaluării; • întrebările cheie; • detalii privind informaţiile disponibile; • rapoarte; • termene limită.

În cazul evaluărilor realizate în mod extern, proiectul de evaluare trebuie să includă de asemenea,

clauze contractuale, financiare şi administrative precum şi criterii de calitate. Punctele mai sus

menţionate vor fi formalizate prin elaborarea unor Caiete de Sarcini.

• Stabilirea unui grup de coordonare și definirea Caietelor de Sarcini

Funcţia de evaluare și monitorizarea poate decide, daca se consider oportun, înfiinţarea de grupuri de

coordonare pentru fiecare evaluare în parte. În situația în care se decide înființarea unui grup de

coordonare, este necesar ca sarcinile acestuia să vizeze cel puțin:

• facilitarea accesului evaluatorului la informaţiile necesare îndeplinirii sarcinilor sale; • susţinerea procesului de evaluare, în special din punct de vedere metodologic; • participarea la măsurarea calităţii evaluării, în punctele importante ale procesului de evaluare; • asigurarea că prevederile caietului de sarcini sunt respectate.

• Conducerea evaluărilor

Procesele de evaluare vor fi conforme cu o serie de standard ce vo fi proiectate în vederea asigurării calităţii lor. Se va stabili un manager al proiectului de evaluare ce va fi responsabil de modul în care evaluarea se realizează. Managerul proiectului de evaluare va măsura în mod constant calitatea evaluării, pe baza criteriilor de calitate menţionate în Caietele de Sarcini. De asemenea, va fi respectată independenţa evaluatorului în activitatea sa şi nu se va interveni asupra rezultatelor evaluării. • Calitatea rapoartelor (analizelor) de evaluare

Textul rapoartelor / analizelor de evaluare va fi relevant, bazat pe analize riguroase, va respecta criteriile

de calitate cuprinse în Caietele de Sarcini şi va fi livrat conform termenelor limită.

Rapoartele/analizele de evaluare trebuie să descrie scopul evaluării şi contextul acesteia precum şi

obiectivele, întrebările, procedurile, rezultatele şi concluziile justificate ale evaluării, astfel încât

informaţiile esenţiale să fie făcute disponibile într-o formă uşor de înţeles.

Rapoartele /analizele trebuie să descrie sursele de informare astfel detaliate încât corectitudinea

informaţiei să poată fi verificată. Datele colectate sau selectate trebuie să fie adaptate la metodologiile

utilizate şi trebuie să fie suficient de corecte pentru utilizarea necesară.

Punctul de vedere şi fundamentarea pe care se bazează interpretarea rezultatelor trebuie descrise şi

explicate. Rezultatele trebuie să fie logice şi fundamentate de analize şi interpretari de date bazate pe

ipoteze explicative prezentate cu atenţie.

Raportul / analiza final(ă) de evaluare trebuie să prezinte rezultatele şi concluziile evaluatorului, iar

opinia cuprinsă în acesta nu trebuie amendată fără consimţământul acestuia.

Forme de realizare a activității de monitorizare și evaluare


Pagina 20 din 23

În vederea consolidării și dezvoltării funcției de monitorizare și evaluare la nivelul Ministerului Muncii și

Justiției Sociale, se recomandă stabilirea unei strategii care să definească modul în care proiectele de

monitorizare și evaluare vor fi derulate. Mai specific, pot exista trei opțiuni, respectiv:

Căsuță text 2 Opțiunea 1 – realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse interne ale MMJS și organizațiile subordonate

Proiectele de evaluare se vor realiza integral de personalul Ministerului Muncii și Justiției

Sociale și al organizațiilor subordonate (inclusiv procesul de colectare a datelor).

Căsuță text 3 Opțiunea 2 – realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse externe

Proiectele de evaluare se vor realiza integral de către terți care pot fi organizații

specializate (de exemplu: institute de cercetare stiințifică, companii de consultanță, cu

expertiză în domeniu). În această situație, personal din cadrul funcției de evaluare și

monitorizare de la nivelul Ministerului Muncii și Justiției Sociale va coordona activitatea

realizată de evaluatorii externi și valida rezultatele aceste activități.

Căsuță text 4 Opțiunea 3 – realizarea proiectelor de evaluare și monitorizare folosind atât resurse interne cât și resurse externe MMJS

Această opțiune reprezintă o opțiune hibrid, care cumulează părți dintre caracteristicile

opțiunilor 1 și 2 prezentate mai sus. În ceea ce privește această opțiune, rolurile în

realizarea proiectului se împart între resursele interne ale Ministerului Muncii și Justiției

Sociale și organizațiile subordonate, și resurse externe. O împărțire indicativă a rolurilor se

poate referi la:

- resurse interne – analiza datelor;

- resurse externe – colectare date.

Mai mult decât atât, personalul din cadrul funcției de monitorizare și evaluare va

supraveghea și coordona activitatea de colecatre de date realizată de terți externi.

Tabelul de mai jos își propune să furnizeze o analiză sintetică efectuată prin prisma unor criterii de

selecție definite în relație cu o serie de potențiale avantaje și dezavantaje aferente celor trei opțiuni de

realizare a proiectelor de evaluare și monitorizare definite.

Tabel 5 Analiza opțiunilor de realizare a proiectelor de evaluare și monitorizare pe baza unor criterii de selecție

Criteriu Opțiunea 1 - Realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse interne ale MMJS și organizațiile subordonate

Opțiunea 2 -Realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse externe

Opțiunea 3 - Realizarea proiectelor de evaluare și monitorizare folosind atât resurse interne cât și resurse externe MMJS

Control cu privire la derularea proiectului de evaluare (i.e. controlul asupra pregătirii și a realizării operationale și tehnice a metodologiei de evaluare)

Ridicat Scăzut Mediu

Cunoaștere tematică a Ridicat Mediu Ridicat


Pagina 21 din 23

Criteriu Opțiunea 1 - Realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse interne ale MMJS și organizațiile subordonate

Opțiunea 2 -Realizarea proiectelor de evaluare și monitorizare exclusiv cu resurse externe

Opțiunea 3 - Realizarea proiectelor de evaluare și monitorizare folosind atât resurse interne cât și resurse externe MMJS

subiectelor investigate (cum ar fi înțelegerea serviciilor sociale supuse cercetării)

Resurse umane cu competențe generale de analiză și interpretare a datelor

Mediu Ridicat Mediu

Competențe de derulare a proiectelor de monitorizare și evaluare

Mic Mare Mediu

Probabilitatea de a obține date corecte și complete de la beneficiari

Scazut Ridicat Mediu

Necesar resurse umane și financiare pentru analiza și interpretarea datelor

Ridicat* Scăzut** Mediu***

Sursa: EY

* Presupunerea este că o organizație cu experiență relativ redusă în derularea de exerciții de evaluare și monitorizare, va realiza

un astfel de exercițiu cu un număr ridicat de resurse umane și financiare.

** Presupunerea este că organizațiile specializate în servicii de monitorizare și evaluare, datorită experienței vaste și a

economiilor de scală din alte proiecte similare, va derula un exercițiu de evaluare și monitorizare cu un număr redus de resurse.

*** Presupunerea este că există o eficiență de costuri obținută prin externalizare.

În practică, în funcție de subiectul și aria de cuprindere a proiectului de evaluare ce urmează a fi derulat,

anumite proiecte pot fi realizate exclusiv cu resurse interne ale MMJS și organizațiile subordonate.

Similar, în situația în care gradul de complexitate a proiectului de evaluare este ridicat, și/sau datele

necesare evaluării nu se află în posesia MMJS și/sau a organizațiilor subordonate, proiectele de

evaluare și monitorizare poate fi realizat cu ajutorul resurselor externe.

Însă, dintr-o altă perspectivă, respectiv cea a tranziției către o funcție de evaluare și monitorizare

consolidată/dezvoltată, considerăm oportuna analiza opțiunii de a realiza această tranziție cu sprijin

extern specializat. Acest sprijin extern specializat ar putea fi implicat în îndrumarea și realizarea unor

activități cheie de pregătire precum:

• formarea suplimentară a personalului relevant;

• pregătirea planurilor de evaluare și monitorizare;

• analiza comprenehsivă a situației datelor necesare în vederea realizării evaluărilor (inclusive din

punct de vedere calitativ).

2.3 Instruirea personalului Ministerului Muncii și Justiției sociale în domeniul evaluării și monitorizării

Indiferent de opțiunea la care se apelează, în vederea acumulării și fundamentării cunoștințelor de

specialitate, este necesară instruirea personalului Ministerului Muncii și Justiției Sociale și a instituțiilor

subordonate, în domeniul evaluării și monitorizării serviciilor sociale. Subiectele de instruire indicate

mai jos reprezintă o platformă minimă de cunoaștere și competențe pentru orice resursă umană

implicată în aceste proiecte.

Tabel 6 Subiecte generale de instruire în domeniul evaluării și monitorizării serviciilor sociale

Tematica Exemple de subiecte aferente tematicii

Evaluarea Noțiuni generale: definiție, obiective, tipuri, avantaje, limitări,

diferențe între evaluare și monitorizare


Pagina 22 din 23

Tematica Exemple de subiecte aferente tematicii

Planificarea evaluării Definirea obiectului evaluării

Elaborarea unui plan de evaluare

Bugetarea evaluării

Design-ul evaluării Întrebări de evaluare, criterii de evaluare, durata evaluării

Implementarea evaluării Etapele procesului de evaluare

Colectarea de date

Asigurarea calității unei evaluări

Metodologii de cercetare Metodologii cantitative

Metodologii calitative

Utilizarea rezultatelor Formularea de politici publice pe baza rezultatelor unui

exercițiu de evaluare

Eșantionare Tipuri de eșantioane (probabilistice și neprobabilistice)

Managementul performanței în serviciile sociale Calitatea în serviciile sociale

Definirea calselor de calitate

Definirea indicatorilor de performanță în serviciile sociale

Sursa: EY

EY | Assurance | Tax | Transactions | Advisory About EY EY is a global leader in assurance, tax, transaction and advisory

services. Worldwide, our 175,000 people are united by our shared

values and an unwavering commitment to quality. We make a

difference by helping our people, our clients and our wider

communities achieve their potential.

For more information, please visit

www.ey.com

© 2018 EYRO

All Rights Reserved.

EY refers to one or more of the member firms of EY Global Limited (EYG), a UK private

company limited by guarantee. EYG is the principal governance entity of the global EY

organization and does not provide any services to clients.

livrabil 5: recomandări și · îngrijire paliative 8710 crms-ii eficienţă şi eficacitate...

Documents