valutazione dell’affidabilità dei metodi di analisi: riproducibilità e … · se questo invece...
TRANSCRIPT
Dottor Tarcisio Niglio, M.D.Servizio Elaborazione Dati
Istituto Superiore Sanità
Valutazione dell’affidabilitàdei metodi di analisi:
riproducibilità e ripetibilitàdei risultati di prove microbiologiche.
Roma 26 novembre 2003 – Aula Bovet - ISS
La RIPETIBILITA’ “r”rappresenta il grado di concordanzatra risultati di misure indipendenti
condotte a breve distanza di tempo con lo stesso metodo, sullo stesso materiale, nello stesso laboratorio, con lo stesso operatore
che usa la stessa apparecchiatura.
La RIPRODUCIBILITA’ “R”rappresenta il grado di concordanza
tra risultati di misure condotte
con lo stesso metodo, sullo stesso materiale, in laboratori diversi,
con differenti operatori che usano differenti apparecchiature.
I valori di “r” e di “R” possono essere impiegati anche per
verificare il corretto funzionamento del procedimento di prova di un laboratorio
che non ha partecipato al confronto interlaboratorio.
E’ anzi auspicabile che ogni laboratorio verifichi periodicamente i propri valori
di ripetibilità e di riproducibilità.
Però diffidate dei “Maghi” esperti della statistica
Una cosa sono i numeri della Cabala …
… ed un’altra cosa sonoi risultati
di un lavoro scientifico
Gioco del Golf
Ogni giocatore DEVEimbucare una pallina
in 18 bucheusando un numero prefissato di colpi
(di solito 72)più altri colpi extra detti
handicap in relazionealla sua capacità di gioco.
VINCE chi usa meno colpiper finire di imbucare le
18 buche della gara.
Il Golf NON è un gioco rilassante,ma è un gioco di precisione.
Questo giocatore dimostra di avere una ripetibilità “r” elevata …
… ma NON vincerà mai una gara !!!Sicuramente esegue con regolarità
lo stesso errore durante tutti i tiri.
Se questo invece è il risultato del gioco di più giocatori allora potremo dire che
la riproducibilità “R” è discreta.
… ma forse è meglio cambiare circolo !!!
Ricapitolando:Bisogna imbucarequella maledetta buca …
… andarci vicino non serve a niente.
Si perde un colpo … e la faccia con gli altri giocatori …
6° ciclo UNICHIM-ISS
CBT22 = 0 UFC/1 mLCBT37 = 0 UFC/1 mL
Buca n.1 e n.2
Buca n.3, n.4 e n.5
CT = 0 UFC/100 mLEC = 0 UFC/100 mLPSA = 0 UFC/250 mL
Buca n.6 e n.7
ENT = 31 UFC/100 mLCLOP = 35 UFC/100 mL
Metodi utilizzati nel 3° ciclo
ISS – Unichim - Milano 18.06.2002
C.M. n.17 DL 31 DM 13.01.93 DM 23300 DPR 236 DPR 237 EN 12780 EPA 1600 MOD EPA 570-9 IRSA IRSA 6040+7010 B1 IRSA 6040+7020 B IRSA 6040+7050 IRSA 7010 IRSA 7010 A1 IRSA 7010 B IRSA 7010 B1 IRSA 7010 B2 IRSA 7010-B IRSA 7020 IRSA 7020 B IRSA 7020 B1 IRSA 7030 IRSA 7030 C IRSA 7040
IRSA 7040 B IRSA 7040 B1 IRSA 7050 IRSA 7051 IRSA F ISO 12780 ISO 6222 ISO 7899 ISO 9308 ISO 9308 RAP ISO 9308 STD ISTISAN ISTISAN 00-14 ISTISAN 00-14 PARTE 2 ISTISAN 97-8 ISTISAN 97-8 B ISTISAN 97-8 B1 ISTISAN 97-8 B2 ISTISAN 97-8 C1 MI MI (cromogeno) MI PdP 64-Micr MI PdP 68-Micr ML MU
MU 1006 MU 1185 MU 1185-1 MU 952-1 MU 953 MU 953-1 MU 954 MU 954-1 MU 956 MU 956-1 MU 958 MU 958-1 MU 959 NF V08-060 SM 19th Ed SM 9212 B SM 9222 B SM 9230 C
Non noti (2)
70 tra metodi e loro varianti !!!
30%30%
12%10%
18%
AltroDL31/01IRSAISSMU955
Clostridium
10%
33%
26%
7%
24%
AltroISOIRSAISSMU954
Enterococco
Il metodo MU954-1prevede la tecnica MF
Il metodo MU954-2prevede la tecnica MPN
Perché TRE laboratori del circuitohanno usato le MF
con il metodo MU954-2?!?!?
Nel gioco del Golf,a livello dilettantistico,
NON ci sono regole molto rigidesulla scelta dell’attrezzatura …
… però …
… è meglio fare gli acquisti in un negozio specializzato
ed attrezzato !!!
“tutti i requisiti che devono essere soddisfatti dai laboratori
di prova e di taratura se intendono dimostrare
che attuano un sistema qualità, che sono tecnicamente competenti e
che possono produrre risultati validi tecnicamente.”
Ma quali sono
UNI CEI EN ISO/IEC 17025del novembre 2000
(sostituisce la norma UNI CEI EN 45001)
Versione ufficiale in lingua italianadella norma europea EN ISO/IEC 17025
(maggio 2000)
INTRODUZIONE.
… omissis …
Le certificazioni ISO 9001 e ISO 9002NON dimostrano da sé la competenza
del laboratorio a produrre dati e risultati
tecnicamente validi.
SCELTA DEI METODI.
… omissis …
Si devono utilizzare preferibilmentei metodi pubblicati
nelle normeinternazionali, regionali o nazionali.
METODI NON NORMALIZZATI.
… omissis …
Il metodo sviluppatoDEVE essere validatoin modo appropriatoPRIMA dell’utilizzo.
La validazione è la confermaattraverso esame e l’apporto di
evidenza OGGETTIVA che i requisiti particolari
per l’utilizzazione previstasiano soddisfatti.
… omissis …
VALIDAZIONE DEI METODI
… omissis …
Il laboratorio DEVE registrarei risultati ottenuti,
le procedure utilizzate per la validazione,così pure una DICHIARAZIONE
circa l’idoneità del metodoper l’utilizzo previsto.
VALIDAZIONE DEI METODI
… ma torniamo alla nostra partita di golf …
Dove sono finite le nostre palline ?
6° ciclo UNICHIM-ISS
CBT22 = 0 UFC/1 mL
Buca n.1 e n.2
0
5
10
15
20
25
1--2 3--5 13 137 300
CBT37 = 0 UFC/1 mL
0
5
10
15
20
25
1--2 5 8 25 200
6° ciclo UNICHIM-ISS
Buca n.3, n.4 e n.5
EC = 0 UFC/100 mL18 in triplo
PSA = 0 UFC/250 mLhole-in-one !!!
CT = 0 UFC/100 mL3 – 33 – 35 – 41 - 44
6° ciclo UNICHIM-ISS
Buca n.6 e n.7
ENT = 31 UFC/100 mL CLOP = 35 UFC/100 mL
IRSA 7040 B ISO 7899 2
MU 954 1
= 0 x 1 Lab = 0 x 1 Lab= 0 x 1 Lab
IRSA 7020 BISS Rapp 00 14
IRSA 7060 DL 31/01 MU 955ALTRO
= 0 x 1 Lab= 0 x 4 Lab= 0 x 7 Lab = 0 x 14 Lab= 0 x 12 Lab= 0 x 14 Lab
!!! 52 LAB su 87 !!!
3 LAB su 107
Come risolvere il problema ?
Selezionando i metodi validati,scartando gli altri.
IN MICROBIOLOGIAinvece i risultati e la qualità
si ottengono …
Partecipando a circuiti interlaboratorio,per valutare la
RIPRODUCIBILITA’ <R>.
Per diventareun buon giocatoredi Golf
NON basta“tirare” palline …
IN CONCLUSIONE
Bisogna impegnarsi
e “crescere”sportivamente
cercandodi correggere
gli erroridello stile.