criticità metodologiche della valutazione tramite indicatori
TRANSCRIPT
Criticità metodologiche della valutazione tramite indicatori
valutazione
che significa?
assegnazione di un valore ad una entità
Quindi …
è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo
Quindi …
è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo
Quindi …
E quindi dipende moltissimo da CHI e dal PERCHE’ la si fà
è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo
riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione
Quindi …
è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo
riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione
Quindi …
Il pericolo è quello di valutare solo ciò che è illuminato tralasciando la maggior parte della realtà che è invece al buio …
è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo
riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione
e il “nuovo aggiunto” è la valorizzazione che è strettamente legata all’uso che si vuol fare della valutazione
Quindi …
è una operazione “creativa” , nel senso che produce una evidenza che in quanto tale non preesiste e che si motiva con una necessità di utilizzo
riguarda un’entità specifica, semplice o complessa, ma che deve essere identificata e conosciuta con precisione
e il “nuovo aggiunto” è la valorizzazione che è strettamente legata all’uso che si vuol fare della valutazione
Quindi …
Il valore dipende dall’utilizzo!
Con quale percorso?
Con quale percorso?
nomenclaturaUsiamo gli stessi
concetti ?
Usiamo gli stessi nomi ?
Usiamo gli stessi codici ?
nomenclaturaUsiamo gli stessi
concetti ?
Usiamo gli stessi nomi ?
Usiamo gli stessi codici ?
spesa, costo, prezzo, tariffa ….
incidenza, prevalenza puntuale, prevalenza periodale, tasso, percentuale …
performance, efficienza tecnica, efficienza allocativa, appropriatezza organizzativa …
prevenzione, promozione, protezione …
nomenclaturaUsiamo gli stessi
concetti ?
Usiamo gli stessi nomi ?
Usiamo gli stessi codici ?
Residenza Sanitaria Assistita, Residenza Protetta, Ospedale di Riabilitazione …
ASL, ASSL, ALS, …
bilancio, conto economico, budget, …
direttore, dirigente, coordinatore, capo ufficio …
nomenclaturaUsiamo gli stessi
concetti ?
Usiamo gli stessi nomi ?
Usiamo gli stessi codici ?
DRG Revisione IX, X, XIX, …
Tariffa regionale, TUC, Pesi, …
Nomenclatori
Codici CE, Codici LA …
Codici Reparti Ospedalieri, …
nomenclatura
La definizione concettuale e l’assegnazione nominale sono già delle operazioni altamente valutative. ( …Dio quando creò il mondo incominciò a chiamare le cose con il loro NOME …”)
In ogni caso per confrontare realtà differenti dobbiamo innanzitutto essere certi di usare gli stessi concetti e gli stessi nomi.
descrizione
Una descrizione è una copia semplificata e quindi necessariamente, anche se di poco, distorta della realtà.
Ovviamente senza una descrizione non c’è valutazione, ma una descrizione non è di per se una valutazione.
descrizione
Le due qualità principali della descrizione sono:
Attendibilità
Validità
La foto è attendibile? Lo è nella misura in cui corrisponde al soggetto fotografato …
La foto è valida? Lo è nella misura in cui serve per lo scopo per cui la si vuol usare …
descrizione
Le due qualità principali della descrizione sono:
Attendibilità
Validità
La foto è attendibile? Lo è nella misura in cui corrisponde al soggetto fotografato …
La foto è valida? Lo è nella misura in cui serve per lo scopo per cui la si vuol usare …
descrizioneL’elemento
principale che serve descrivere a fini
valutativi è la variabilità presente
nel sistema:
VARIABILITA’ TRA OPERATORI
descrizioneL’elemento
principale che serve descrivere a fini
valutativi è la variabilità presente
nel sistema:
VARIABILITA’ TRA COMUNI
descrizioneL’elemento
principale che serve descrivere a fini
valutativi è la variabilità presente
nel sistema:
VARIABILITA’ TRA OSPEDALI
Variazione dei ricoveri ordinari vs variazione dei ricoveri in day hospital
descrizioneL’elemento
principale che serve descrivere a fini
valutativi è la variabilità presente
nel sistema:
VARIABILITA’ TRA AZIENDE
descrizioneL’elemento
principale che serve descrivere a fini
valutativi è la variabilità presente
nel sistema:
VARIABILITA’ TRA REGIONI
monitoraggio
Un monitoraggio è una descrizione, solitamente continua o ripetuta, confrontata con un riferimento.
La scelta del riferimento può far
cambiare anche completamente il
giudizio.
monitoraggio
Riferimento:
distribuzionale
programmatorio
normativo
puntuale
a intervallo
statico
dinamico
legislativo
scientifico
valori centralivalori di dispersione
minimi o massimirange di accettabilità
assolutoproporzionale
tendenzamobile
nazionaleregionale
di letteraturadi consenso
monitoraggioesempi
valutazione
Ciò che rende tale la valutazione è l’assegnazione di un valore ad ogni modalità riscontrata
E il valore è tale solo in funzione degli interventi che ne devono conseguire.
D = f(R)descrizione realtà
V = f(D) valore descrizione
I = f(V)interventi valore
valutazione
Una valutazione quindi non può in alcun modo essere avulsa da:
- conoscenza delle realtà (descrizione)
- giudizio delle diversità (monitoraggio)
- valore operativo assegnato alla diversità
- intervento decisionale conseguente
valutazione
Ne consegue che:- non può esistere un processo valutativo che vada bene per tutto
- non può separarsi funzionalmente il valutatore dal decisore
- un processo valutativo deve mutare al mutare della realtà da valutare
- due processi valutativi possono portare anche a decisioni differenti
- il modello di valutazione deve essere trasparente a chi lo utilizza
valutazione
Di problemi “tecnici” nel modello di valutazione ce ne sono molti … ne evidenziamo uno per tutti:
La funzione di composizione delle informazioni elementari
La conclusione della valutazione deve essere
univoca se deve esitare in una decisione …
Occorre quindi trovare il modo di comporre unitariamente le differenti indicazioni elementari …
valutazione
La funzione di composizione:
Informale
Il giudizio valutativo sintetico è lasciato al decisore che in modo
soggettivo e non esplicitato (e quindi in
modo non ripetibile) ha il compito di formularlo.
Grafica
L’algoritmo non è di tipo statistico bensì grafico: in questo caso i “pesi” vengono per lo più ignorati e ciò può falsare le conclusioni
Statistica
Si decidono i pesi delle diverse categorie e si
procede con un algoritmo matematico statistico che
però, per la sua complessità, spesso non risulta
comprensibile al decisore
Avviare un progetto di ricerca da realizzare con un gruppo inter-regionale sui sistemi di valutazione finalizzato a:
1) Approfondire aspetti metodologici e tecnici relativi alla valutazione
2) Elaborare, con il consenso delle Regioni, una linea guida su come effettuare le valutazioni
3) Produrre un modello di sistema di valutazione utilizzabile dalle Regioni senza proprie esperienze
Le prospettive di lavoro per Agenas :
in conclusione valutazione è dare un giudizio alla
diversità per avere indicazioni utili a corregere solo gli elementi negativi
grazie per l’attenzione