III Congreso Nacional deInvestigación Clínica

Mayo 17-19, 2017

Mejora Continua y MetodologíaLean 6S en Investigación Clínica

Sandra Martínez Díaz

¿Por qué Lean ?¿ Por qué Six Sigma?

• Combinación poderosa de herramientas– Lean: Eliminar el desperdicio– Six Sigma: Eliminar la variación

• Alcanzar Planes de negocio– Mejora de proyectos que son parte de un plan– Vinculación con los KPIs: Indicadores de Desempeño

GeneralidadesSix Sigma

• Filosofía empresarial que pretende mejorar laeficacia y eficiencia.

– Eficacia: Cumplir y superar los requisitos de los clientes.– Eficiencia: recursos (tiempo, costo, personal) que se

consumen para lograr la eficacia

Evolución de Six SigmaPartes

IntercambiablesEli Whitney

Tiempos yMovimientos

Division de las tareasF. Taylor

Producción enMasa

Henry Ford

Lineas deEnsamble

Eliminación deDespedicio

Sistema deSincronización

Masa / Lotes

Alfred P. Sloan

CostoEstándar

Modelo deVariación

JidokaS. Toyoda

Just - In - TimeK. Toyoda

SupermarketSystems

Total QualityE. Deming,

et al

ToyotaSistema deProducción

T. Ohno

EmployeePartnership

DruckerSQCShewhart

Western Electric

SixSigmaMotorolaDOE

Taguchi et al

GeneralidadesSix Sigma

• A diferencia de otras iniciativas de calidad, quesólo atienden a las herramientas, el Six sigma sebasa en la participación activa de la dirección.

• Componentes:

EstratégicoTácticoCultural

TÁCTICOMetodología

ESTRATÉGICOCliente

CULTURALTop MagementFull inmersion

Alineación e IntegraciónEnfoque y Convergencia

Componentes

= 1.5

σ−

σ−=

3LSLxor

3xUSLminCpk

Cp: Process Capability Potential (assumes a centered process)

Cpk: Capacidad del Proceso (tomando en consideración el promedio de variación)

6

LSLUSLCpRango de Espec

Rango de proceso

dpm

133,600

3.4

<< 1PPB

.5

2.0

15.0

Cp

LSLLCL UCLUSLTARGET

Courtesy, Air Academy Associates, © 2002

1.5 Shift

“Variaciones”

Revisión

• El Six sigma en su nivel básico se encamina a mejorarsimultáneamente la eficacia y eficiencia.

• La medición técnica de cuántos casos de insatisfacciónde clientes ocurren en un millón de oportunidades esun concepto en el cual descansa Six sigma.

• 6 sigma es el equivalente a 3.4 desviaciones por cadamillón de oportunidades

4.5

DMAIC DEFINIR

– 11 –

DMAIC MEDIRMapeo del Proceso de Obtención de datos clínicoss

DMAIC MEDIRMatriz causa-efecto

Nombre del Proyecto: Reducción de Verificación de documentos fuente Versión: 13-Ene.2006

Nivel de Importancia para elcliente 4 7 9 2 5 5 10

1 2 3 4 5 6 7

CTQ Sitio

apro

bado

Monit

or a

carg

o

Sitio

entre

nado

Repo

rte de

Mon

itore

o

Datos

mon

itore

ados

DNF

(pap

el, s

istem

a)

Evide

ncia

cientí

fica

(doc

umen

tosfue

nte/C

RF)

Proceso Variables (KPIV)

2,5,13 Instalaciones del sitio adecuadas 10 0 0 0 0 0 5 90 9

2,5 Equipo calibrado 10 0 0 0 0 0 2 60 121,5, 7, 12 Competencia del Inv 10 0 3 0 0 0 9 157 6

2,5,7,12 Competencia del equipo deinvestigación del sitio

3 0 3 0 0 0 7 109 8

3,6 Carga alta de trabajo del monitor 0 9 4 5 10 0 3 189 4

3,4,6 Competencia del monitor 0 7 10 10 10 0 3 239 3 70%

6 Número de datos revisados 0 0 10 8 10 10 5 256 24 Diseño del entrenamiento 0 5 10 2 3 0 2 164 54 Calificación del sitio 0 0 10 8 10 0 10 256 1

8,13 Tiempo de envío de datos 2 2 5 2 0 0 0 71 108,13 Velocidad de transmisión 2 0 4 0 0 0 0 44 148,13 Tiempo de captura 0 0 0 0 0 3 4 55 13

9 Diseño de queries para identificardesviaciones

0 0 0 0 0 10 10 150 7

10

Competencia del coordinador paraidentificar desviaciones 0 2 0 0 0 10 0 64 11

148

175

531 70 215

165

600

Rank

ing

Total

H

80%

DMAICAMEF

KPIV Modo de falla EfectoSEV

Causa potencial

OCUR

Controles actualesDET

RPN

Accionesrecomendadas Resp.

Verificación deespecificaciones

Calificacióninadecuadadel sitio

7

Falta deespecificaciones claras

7

Existe un listado deverificación que no hasido validado

1 49

1) Normalizar laoperación mediantela elaboración deun SOP

Karin Mauer

Falta deexperiencia en losverificadores de lacalificación

Calificacióninadecuadadel sitio(Falsopositivo)

8

Falta deentrenamiento

1

Ninguno

7 56

1) Entrenamiento enel SOP.2) Verificación delnivel de acuerdointra e interverificador

1) KarinMauer2) Sandra Mtz

Entrenamiento enpreestudiodeficiente

Calificacióninadecuadadel sitio(Falsopositivo)

8

No existe unprograma deentrenamientoque certifique lacalificación desitios

10

Existe un programageneral deentrenamiento a lossitios, mismo que danlos monitores que nohan sido calificados.

1 80

1) Diseño de unPrograma deentrenamiento en eltrabajo basado enel expertise actualde los monitores

1) Laura Ruy2) Jorge Cruz

Revisióndiscrecional al 25%de los Dif. módulosde los CRF

Falta oexceso derevisión(desperdicio)

5

Falta deherrramientabasada en unanálisisestadístico o detendencias 10

Ninguno

1 50

1) Elaboración deuna herramientabasada en Controlestadístico y enAQL que permitadeterminar lacantdad de datos arevisar en cadavisita basado en unnivel de aceptaciónde calidad

1) Sandra Mtz

Evaluación de laproductividad pormonitor con baseal número de datosrevisados (SDV)

Falta deplaneación ysobrecargade trabajo

8

No existe unmétodoconfiable para laevaluación de laproductividadde losmonitores cobase a SDV

10

Existe una base dedatos denominadaGTMS que pretendecalcular el número dehoras que los monitoresdedican a la actividad deSDV, sin embargo esabase no refleja lacantidad de datos querevisa cada monitor

1 80

1) Diseño de unaherramienta quepermita visualizar lacarga e trabajo delmonitor con base alSDV

1) JulioCárdenas

Calificacióndel sitio

Número dedatos

revisados

DMAICAMEF

Entrenamiento deinduccióndeficiente

Datos malrevisados

8

No existe unamatriz deentrenamientooon con base adescripción depuesto y aexperiencia

8

Existe un programageneral deentrenamiento deinducción 1 64

1) Diseño de matrizde capacitación porpuesto

1) Laura Ruy

Evaluación de lacompetencia delmonitor

Datos malrevisados

10

No existe unaherramienta quepermita calificaral monitor(reproducibilidad)

10

Ninguno

1 100

1) Evaluación de lareproducibilidad yde Kappa de todoslos monitores

1) GuadalupeMosqueda2) Sandra Mtz

Entrenamiento enel trabajodeficiente

Datos malrevisados

7

La capacitaciónen el trabajo selleva a cabo comouna estrategiacorrectiva(después de queocurre la falla ),durante lasreuniones deentrenamiento demonitores serevisan "issues "

10

Existe un programageneral deentrenamiento en eltrabajo para monitores.

1 70

1) Diseño de unPrograma deentrenamiento en eltrabajo basado enel expertise actualde los monitores

1) Laura Ruy

Carga detrabajo delmoniror

Evaluación de laproductividad pormonitor con baseal número de datosrevisados (SDV)

Falta deplaneación ysobrecargade trabajo

8

No existe unmétodo confiablepara laevaluación de laproductividad delos monitores cobase a SDV

10

Existe una base dedatos denominadaGTMS que pretendecalcular el número dehoras que los monitoresdedican a la actividad deSDV, sin embargo esabase no refleja lacantidad de datos querevisa cada monitor

1 80

1) Diseño de unaherramienta quepermita visualizar lacarga e trabajo delmonitor con base alSDV

1) JulioCárdenas

Competenciadel Monitor

– 14 –

Definición de variables

– 15 –

KPIV (VARIABLES INDEPENDIENTES)

Competencia del monitor

Calificación- Certificación del sitio

Número de datos revisados

Carga alta de trabajo del monitor

Asociado a Y

Sistema demedición

CTQ (VARIABLE DEPENDIENTE)

Y= Calidad de los datosexpresada como número de datos erróneos/ Oportunidades de error

Capacidad del procesoEstadística descriptiva para Y

4.54.03.53.02.52.01.5

Median

Mean

3.853.803.753.703.653.60

A nderson-Darling Normality Test

V ariance 0.2247Skewness -1.40627Kurtosis 6.40376N 70

Minimum 1.5580

A -Squared

1st Q uartile 3.4942Median 3.68543rd Q uartile 3.9569Maximum 4.7133

95% C onfidence Interv al for Mean3.5948

1.68

3.820995% C onfidence Interv al for Median

3.6224 3.766995% C onfidence Interv al for StDev

0.4064 0.5688

P-V alue < 0.005

Mean 3.7079StDev 0.4740

9 5 % Confidence Intervals

Summary for SIGMA LEVEL

– 16 –

Cálculo de tamaño de muestra• Power and Sample Size

1-Sample t Test

• Testing mean = null (versus not = null)• Calculating power for mean = null + difference• Alpha = 0.05 Assumed standard deviation = 0.474

Sample Target• Difference Size Power Actual Power• 0.8 5 0.8 0.802514• 0.8 6 0.9 0.905526

– 17 –

Conversión de datos no normales

– 18 –Adjusted Sigma Levels (Two missing values should be considered)

0.320.300.280.260.240.220.20

Adjusted sigma levels

Adjusted sigma levels (optimal lambda). Two missing values should be considered

Perc

ent

0.360.340.320.300.280.260.240.220.20

99.9

99

9590

80706050403020

105

1

0.1

Mean

0.456

0.2680StDev 0.02398N 68AD 0.353P-Value

Probability Plot of Adjusted Sigma LevelsNormal

Sigma Levels (considering overall data)5.04.54.03.53.02.52.01.5

Sigma levels considering overall data

¿Cuál es la relación entre la capacidad del proceso y lasmúltiples variables independientes? ¿Es el monitor?

Date

Sigm

aLe

vel

Ene-06Sep-05May-05Ene-05Sep-04May-04Ene-04

5.0

4.5

4.0

3.5

3.0

2.5

2.0

1.5

MONITOR

CASTILLOCERVANTESCORONACRAVIOTOCUEVASECHARTEAGUERRAHERNANDEZLOPEZMOSQUEDA

ALATORRE

PAREDESPONTONESREYES

ARRIAGABRIONESCARDENAS

Sigma values distributon (MRL protocols from Jan 2004 to Dec 2005)

¿Cuál es la relación entre la capacidad del proceso y lasmúltiples variables independientes?

¿Es el tipo de estudio?

– 20 –

¿Cuál es la relación entre la capacidad del proceso ylas múltiples variables independientes? ¿Es el tipo de estudio?

Residual

Perc

ent

0.0500.0250.000-0.025-0.050

99.999

90

50

10

10.1

Fitted Value

Resi

dual

0.2880.2760.2640.2520.240

0.050

0.025

0.000

-0.025

-0.050

Residual

Freq

uenc

y

0.040.020.00-0.02-0.04

20

15

10

5

0

Observation Order

Resi

dual

7065605550454035302520151051

0.050

0.025

0.000

-0.025

-0.050

Normal Probability Plot of the Residuals Residuals Versus the Fitted Values

Histogram of the Residuals Residuals Versus the Order of the Data

Residual Plots for ADJUSTED SIGMA LEVELS

– 21 –

Bartlett's TestTest Statistic15.39P-Value 0.118

Levene's TestTest Statistic1.38

P-Value 0.214

Ho: El tipo de estudio no se relaciona con el nivel de sigmaHa: El tipo de estudio se relaciona con el nivel de sigma

– 22 –

DMAICNaturaleza de los datos

Ene XXX a Dic XXX

Todos los data pointsmigrados a HQ

Todos los erroresvinculados

Todos los monitoresAlca

nce

de lo

s dat

os

Sub Proyecto:Certificación de Monitores

Jorge CruzClinical Research Manager

¿Cómo predecir el comportamiento de un proceso empleandouna unidad de medición con sesgo?

– Protocol review• Basic Questionnaire• Four standard sections:

– Design, Inclusion and exclusion criteria, procedures, efficacy and safetymeasurements

• New protocol for overall personnel.

– Complexity: High.– Participants: CRA– First Exercise: March 16, xxxx

• Agreement inter-CRA– Second exercise: May 25, xxxx

• Agreement intra-CRA– Type of analysis: Kappa by attributes

Interpretation

– 26 –

% Kappa value Interpretation-100 to 59 Random agreement

≥ 60 Marginal. Improvement is required

≥ 70 Good

≥ 90 Excellent

SPECIFICATION 80

Accuracy results by CRAEach CRA vs Standard

–

Inter-agreement and overall accuracy resultsBASIC QUESTIONNAIRE

Inte

r agr

eem

ent

Inte

r agr

eem

ent

Over

all a

cura

cyOv

eral

l acu

racy

Accuracy results between CRAAll appraisers vs Standard

Proc

edur

esPr

oced

ures

Effic

ay&

Safe

tyEf

ficay

&Sa

fety

Exc/

Incl

Exc/

Incl

Desig

nDe

sign

Conclusions

– Inter agreement analysis for CRA was performed– Kappa analysis reveled a random agreement between CRA– Agreement results must be improved

• On the job program training has been developed•

– Intra-agreement analysis should be performed– Kappa analysis will be a key tool for site’s qualification

– 30 –

Sub Proyecto:Calificación de Sitios

Ho: La variación en el nivel de sigmade un sitio NO tiene relación con la

calificación del mismo

Assessment

• Staff• Data Acquisition and Management• Clinical & La Supplies management• Regulatory aspects• Quality assurance• Facilities/ Infraestructure• Equipment• Site Management• Site Performance• Communication with sponsor• Total

– 32 –

RESI6

Perc

ent

0.050.040.030.020.010.00-0.01-0.02-0.03

99

95

90

80706050403020

10

5

1

Mean

0.565

0.0007882StDev 0.01205N 43AD 0.301P-Value

Probability Plot of RESI6Normal

Residual

Perc

ent

0.040.020.00-0.02

99

90

50

10

1

Fitted Value

Resi

dual

0.300.280.260.240.22

0.04

0.02

0.00

-0.02

Residual

Freq

uenc

y

0.040.030.020.010.00-0.01-0.02

16

12

8

4

0

Observation Order

Resi

dual

7065605550454035302520151051

0.04

0.02

0.00

-0.02

Normal Probability Plot of the Residuals Residuals Versus the Fitted Values

Histogram of the Residuals Residuals Versus the Order of the Data

Residual Plots for ADJUSTED SIGMA LEVELS

–

DMAICCalificación de Sitios

Sub Proyecto:Productividad de Monitores

Ho: La variación en el nivel de sigma de un sitio NO tiene relacióncon la carga de trabajo del monitor(expresada como número de datos migrados)

DMAICProductividad de monitores

RESI6

Perc

ent

0.050.040.030.020.010.00-0.01-0.02-0.03

99

95

90

80706050403020

10

5

1

Mean

0.565

0.0007882StDev 0.01205N 43AD 0.301P-Value

Probability Plot of RESI6Normal

Residual

Perc

ent

0.040.020.00-0.02

99

90

50

10

1

Fitted Value

Resi

dual

0.300.280.260.240.22

0.04

0.02

0.00

-0.02

Residual

Freq

uenc

y

0.040.030.020.010.00-0.01-0.02

16

12

8

4

0

Observation Order

Resi

dual

7065605550454035302520151051

0.04

0.02

0.00

-0.02

Normal Probability Plot of the Residuals Residuals Versus the Fitted Values

Histogram of the Residuals Residuals Versus the Order of the Data

Residual Plots for ADJUSTED SIGMA LEVELS

–

Sub Proyecto:Factores vinculados con

la experiencia de losmonitores

Ho: La variación en el nivel de sigma de un sitio NO tiene relación

con la escolaridad, experiencia y complejidad del protocolo.

Tampoco con la interacción entre éstas variables

Diseño factorial 23

Mea

nof

Six

Sigm

a

LicTecnico

4.0

3.9

3.8

3.7

3.6Más de 2.5Menos de 2 años

igual o menor de 5Más de 6

4.0

3.9

3.8

3.7

3.6

Escolaridad Experiencia

Complejidad

Main Effects Plot (data means) for Six Sigma

– 38 –

DMAICEfectos principales. Factores asociados a los monitores

DMAICInteracciones dobles.

Factores asociados a los monitores

Escolar idad

Experiencia

Complejidad

Más de 2.5Menos de 2 años igual o menor de 5Más de 6

4.2

3.9

3.6

4.2

3.9

3.6

EscolaridadTecnicoLic

ExperienciaMenos de 2 añosMás de 2.5

Interaction Plot (data means) for Six Sigma

– 39 –

Interacción entre variables

igual o menor de 5

Más de 6

Más de 2.5

Menos de 2 añosLicTecnico

Complejidad

Experiencia

Escolaridad

3.75767

4.060033.40047

3.76043

3.42217

4.473433.93223

3.49907

Cube Plot (data means) for Six Sigma

– 40 –

• Full Factorial Design

• Factors: 3 Base Design: 3, 8• Runs: 16 Replicates: 2• Blocks: 1 Center pts (total): 0

• All terms are free from aliasing.

– 41 –

DMAIC

– 42 –

DMAIC. DOE

1Q 4Q

DMAIC.

– 43 –

Durante la fase de control:1) Definir las especificaciones de calidad del sitio.2) Control estadístico del proceso por visita.3) Determinar si hay alguna de las 8 pruebas que fallen.

DMAIC.

Observation

Indi

vidu

alV

alue

645750433629221581

5

4

3

2

_X=3.708

UC L=4.765

LC L=2.651

Observation

Mov

ing

Ran

ge

645750433629221581

3

2

1

0

__MR=0.397

UC L=1.298

LC L=0

2

2666

1

1

111

1

1

2

I-MR Chart of SIGMA LEVEL

– 44 –

Conclusiones

• Se describe una ecuación que predice la calidad del sitio con base avariables asociadas con el monitor (experiencia) y con el sitio.

• Las variables significativas son:– Calificación del sitio– Características del monitor (experiencia y escolaridad)– Complejidad del estudio

– 45 –

DMAICMapeo ideal

– 46 –

ProtocoloProtocolo Calificaciónde sitios

Calificaciónde sitios

Selección desitios

Selección desitios

Sitio 1Sitio 1

Sitio 2Sitio 2

Sitio 3Sitio 3

Sitio 4Sitio 4

Sitio 5Sitio 5

Sitio xSitio x

Captura dedatos y envío

de datos

Captura dedatos y envío

de datos

Data ReviewData Review

WCDMOWCDMO

MPCSMPCS

MonitorMonitor

CRACRA

StatsStats

Limpieza de datos yresolución dediscrepancias

Limpieza de datos yresolución dediscrepancias

DatosLimpiosDatos

Limpios

Others…Others…Others…Others…Others…Others…

Estado futuro

– 47 –

En resumen L6

Compromiso Ejecutivo

Liderazgo Alineado

Elige Problemas reales

Personal correcto

Entrenamiento y Herramientas correctas

Motivación y Reconocimiento

Responsabilidad Financiera

L6LeanSixSigma

Implementación

Mejor

Más rápido

Menor Costo