Download - Method Evaluation and Method Validation
Method Evaluation 1
Method Evaluation and Method Validationวตถประสงค
น.ศ.สามารถ1. อธบายวธการศกษาเพอประเมนวธวเคราะหได2. วเคราะหและแปลความหมายผลการศกษา
เพอประเมนวธวเคราะหได
Type of Analytical MethodReference MethodStandard MethodRoutine Method
http://home.kku.ac.th/wiskun/465211/MethodEvaluation.ppthttp://home.kku.ac.th/wiskun/book/index.html
2
Select, EvaluateDiagnostic Test
Select Methodof Analysis
Validate MethodPerformance
Implement Method
PerformTests
AcquireSpecimens
Check withStatistical QC
ReportResults
A Routine Laboratory Testing Process
Maintain MethodPrevent Problems
Develop MethodImprovements
Process for Establishing a Routine Test
From...http://www.westgard.com/lesson20.htm
3
Method characteristicsApplication characteristics are factors that determine whethera method can be implemented in a particular laboratory situation.
Methodology characteristics are factors which, in principle, should contribute to best performance
Performance characteristics are factors which, in practice, demonstrate how well a method performs.
working range, precision, recovery, interference, accuracy, and sometimes detection limit
analytical sensitivity and analytical specificity of the method of analysis
choice of chemical reaction, optimization of reaction conditions, principles of standardization and calibration, and the rigor of the analytical procedure
cost-per-test, types of specimens sample volume, turnaround time, workload,equipment and personnel requirements, space, portability, and safety considerations
Method Evaluation 4
Ideal Clinical Laboratory Test
• Perfect accuracy and precision• High analytical sensitivity
(a limit of detection of zero)• Absolute analytical specificity
(No interferences)
• Diagnostic sensitivity andspecificity of 100%
Analytical Performance
Diagnostic Performance
Area under ROC Curve closest to 1.0(Receiver Operating Characteristic)Likelihood ratios, LR >10 or LR <0.1
Method Evaluation 5
ความถกตอง (Accuracy) คอ ความสามารถเขาใกลคาจรง(True Value) ของผลการวด
True Value ในทนคอ Conventional True Value (of a Quantity)คอ คาซงแสดงคณลกษณะของปรมาณเฉพาะเจาะจงทตกลงยอมรบรวมกนจากทประชม โดยมคาความไมแนนอน(uncertainty)ทเหมาะสมสำาหรบจดประสงคทกำาหนด
คำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html
Method Evaluation 6
ความแมนยำา (Precision) คอ1 .องศาของความสอดคลอง และเปนไปตามกนของการวดท
ไมขนตอกนของปรมาณอนหนงภายใตเงอนไขเดยวกน 2. คาความใกลเคยงกนของผลการวดซำาหลายๆ ครง ซงการ
วดหลายๆ ครง จะตองกระทำาภายใตสภาวะและเงอนไขเดยวกน
ความคลาดเคลอน (Error) คอ ผลของการวดลบดวยคาจรงของปรมาณทถกวด
Error = Measured Value - True Valueคำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html
Method Evaluation 7
ความไมแนนอน (Uncertainty) คอ 1 .ขอบเขตทกำาหนดไวแนนอน (Parameter) รวมกบ
ผลการวด ซงบอกลกษณะการกระจายของคาทไดจากวดซำาๆ กนทสามารถทำาใหอางไดสมเหตสมผลวาเปนของปรมาณทถกวด (Measurand)
2. การรายงานผลการวด จะตองรายงานคาความไมแนนอน
ปรมาณ = คาทวดได + ความไมแนนอน ทระดบความเชอมน …... %
คำาศพททางดานมาตรวทยา. สถาบนมาตรวทยาแหงชาต [National Institute of Metrology(Thailand)]. [Online] sited on 27 April 2010. Available form URL http://www.nimt.or.th/knowledge/word.html
Method Evaluation 8
• Accuracy (ความถกตอง)• Precision (ความแมนยำา)• Analytical sensitivity (ความไวตอการวเคราะหปรมาณ)• Analytical specificity to include interfering substances
(ความจำาเพาะตอสารทวเคราะห)• Reportable range of patient test results
(ชวงทวเคราะหไดในตวอยางของวธตรวจ)• Reference range
(ชวงคาอางอง/ปกต ทพบในคนปกต)• Any other performance characteristic required for
test performance
Performance specifications of a new method are
Method Evaluation 9
Analytical Method Evaluationวธวเคราะห/วธตรวจวด
การประเมนตองม• ขอมล/สารสนเทศ• เกณฑการตดสนใจ
ผลตรวจเชอถอได• ถกตอง (accuracy)• แมนยำา (precision)
เปาห
มาย
การประเมนวธวเคราะหวาใหผลตรวจนาเชอถอหรอไม
Method Evaluation 10
XXXXXXXX
XXXXXXX
XXX
XXXXX X
TrueValue
ObservedMean
Systemic error, SERandom error, RETotal error, TE
Observed Distribution And Error concept of AccuracyWestgard JO. The Meaning and Application of Total ErrorSite on 5Jun09 From..http://www.westgard.com/essay111.htm
Method Evaluation 11
คาจรง (x)
ผลตร
วจ (y
) y = x + 0ผลตรวจ = คาจรง
No error
y = x
+ b
y = ax +
0
Constant error
Proportional error
Systemic error (SE) Constant error (CE) Proportional error (PE)Random error (RE)
Systemic error & Random error
มรปแบบ error ทคาดการณได
มรปแบบ error ทคาดการณไมได
?
b0
Method Evaluation 12
• Application characteristics study ศกษาหลกปฏกรยาตรวจและวธตรวจ• Linearity study ชวงการวเคราะหของวธ => Lower & Upper limit• Precision study ความแปรปรวนของผลวเคราะห (within run & between run)• Interference study การรบกวนวธวเคราะหของสารทอาจพบในตวอยางตรวจ• Recovery study ประมาณการ proportional error• Method comparison study เปรยบเทยบผลตรวจกบวธอางอง (Reference method)
Analytical Method Evaluation Study
Method Evaluation 13
ชนดความผดพลาด การประเมนขนตน การประเมนขนปลาย
ความผดพลาดแบบสม (Random Error)
ความแมนยำาภายในชดการวเคราะหWithin-run study
ความแมนยำาระหวางชดการวเคราะหBetween-run study
ความผดพลาดคงท (Constant Error)
การศกษาการรบกวนInterference study
การศกษาเปรยบเทยบผลการตรวจกบวธอางองComparison study
ความผดพลาดแบบสดสวน (Proportional Error)
การศกษารคอเวอร และการศกษาไลเนยลตRecovery study and Linearity study
การศกษาเปรยบเทยบผลการตรวจกบวธอางองComparison study
ความผดพลาดแบบระบบ (Systematic Error)
การศกษาเปรยบเทยบผลการตรวจกบวธอางองComparison study
ลำาดบการศกษาเพอประเมนความผดพลาดของวธวเคราะห
Method Evaluation 14
Abso
banc
e
ความเขมขน
Linearity
A = a·b·C
abAC ความสมพนธจรง
ความสมพนธตามการคำานวณของสมการ Beer’s law
ตำา สง 0.00
Linearity ของการวเคราะหดวยวธวดการดดกลนแสงคำานวณความเขมขนจากคา absorbance
Higher limit of detectionชวงการวเคราะห
analytical range
Lower limit of detection
Method Evaluation 15
ศกยไ
ฟฟา
ความเขมขน
Low Cal
High Cal
ชวงการวเคราะหanalytical range
Higher limit of detection
Lower limit of detection
Lower limit Higher limit
Linearity ของการวเคราะหดวยวธวดศกยไฟฟา
Method Evaluation 16คาคำานวณจากการเจอจางตวอยาง (x)
คาวเ
คราะ
หไดจ
ากวธ
วเคร
าะห
(y)
y = a
x + b
ตวอยางคาสง เจอจางLinearity study โดยใชตวอยางคาสงๆ
คาครอบคลมชวงตงแต0 ถง 1.5 เทาของคาทตรวจพบในงานประจำาวน
Linearity = คาสงสดของกลมขอมลททำาให slope = 1.00 + 0.03 และ intercept = 0.0 + within run precision
Method Evaluation 17
Precision study
• ความแมนยำาของการตรวจวเคราะหซำาในชดการวเคราะห (Within Run Precision)
วเคราะหตวอยางเดมซำา 20 ครง แลวนำาผลการวเคราะหมาคำานวณสมประสทธความแปรปรวน (%CV) 100Mean
SDCV
มผลตรวจมากกวา 1 ขอมล ออกนอกชวง mean + 2 SDไมควรนำาวธนมาใช%CV < ½ ของ Intra-individual variation ของสารในรางกายเชน Total protein ม Intra-individual variation = 3%%CV ไมควรมากกวา 1.5%
Westgard แนะนำา within-run %CV ไมควรเกน 1/4 of TEa
Method Evaluation 18
• ความแมนยำาของการตรวจวเคราะหซำาระหวางชดการวเคราะห (Between Run Precision)
Precision study
%CV ไมควรเกนคาความผดพลาดทยอมรบได (allowable error)ของการตรวจวดสารนน ?
Total proteinCLIA Acceptable Performance 10%Medical Decision Level 7.0 g/dlCLIA Allowable Error 0.70 g/dlMedically Allowable Error 0.51 g/dl
CLIA = Clinical Laboratory Improvement Amendments
1000.751.0
= 7.28%ทระดบ 7.0g% %CV ไมควรเกน Westgard แนะนำา beteween-run %CV ไมควรเกน 1/3 of TEa
For short-term imprecision, the within-run standard deviation (sw-run) or the within-day standard deviation (sw-day) should be ¼ or less of the defined allowable total error to be acceptable, i.e., sw-run or sw-day < 0.25 TEa
For long-term imprecision, the total standard deviation (stot) should be 1/3 or less of the defined TE, i.e., stot < 0.33 TEa .
Analyze 1 sample of each of the 2 materials on 20 different days to estimate long-term imprecision
Select at least 2 different control materials that represent low and high medical decision concentrations for the test of interest
http://www.westgard.com/lesson22.htm
19Method Evaluation
TE = %Bias + Imprecision (z %CV)
Method Evaluation 20
Total proteinCLIA Acceptable Performance 10%Medical Decision Level 7.0 g/dlCLIA Allowable Error 0.70 g/dlMedically Allowable Error 0.51 g/dl
การประมาณคา Random error (RE) จาก %CV
RE = 1.96 x imprecision Mean100CV%SD
Random error ทคา mean คำานวณจากสตร
%CV = 5.0%
35.00.71005SD
RE = 1.96 x 0.35 = 0.69
%28.71000.751.0
Medical Decision level = 7.0
RE = 1.96 x 5 = 9.8%
โดยใชโอกาสทางสถต (ประมาณ 1.96SD)
Method Evaluation 21
NCCLS EP5-A2 Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition1) ตรวจวดตวอยางศกษา อยางนอย 20 วน2) ใน 1 วน ตรวจตวอยางศกษา 2 ครง และครงละ 2 ตวอยาง3) ในการตรวจตวอยางศกษาทกครง ตองมการตรวจตวอยางควบคม
คณภาพการตรวจดวย อยางนอย 1 ระดบความเขมขน4) การศกษา precision performance ตองทำากบตวอยางศกษา 2
ระดบความเขมขน เปนอยางนอย
Day# การตรวจครงท 1 การตรวจครงท 2R1p1 R1p2 R2p1 R2p2
1 242 246 245 2462 243 242 238 2383 247 239 241 240: : : : :: : : : :
19 241 239 247 24520 247 240 245 242
ตวอยางศกษา Level 1
Repeatability, Method precision
NCCLS. Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline—Second Edition.NCCLS document EP5-A2 (ISBN 1-56238-542-9). NCCLS, 940 West Valley Road, Suite 1400, Wayne, Pennsylvania 19087-1898 USA, 2004.
Method Evaluation 22
Interference study ตวอยางตรวจทางเคมคลนกสวนมากเปน serum/plasmaสารรบกวนการวเคราะหทมโอกาสพบไดแก - hemoglobin จากการแตกของเมดเลอดแดง - ไขมนทมมากในบาง serum - บลรบนทมมากในบาง serum - ยาบางชนดทอาจมมากใน serum
• ตวอยางทไมมสารรบกวน
• ตวอยางทมสารรบกวน
hemoglobin 0 mg/dlbilirubin < 1.5 mg/dltriglyceride < 150mg/dl
ความเขมขนสารรบกวน ตงแตระดบตำาไปจนถงมากสดทคาดวาจะพบไดในตวอยางของงานประจำาวน
ความเขมขนทระดบคาอางอง
ตวอยางสำาหรบศกษา
Method Evaluation 23
Bilirubin,200 mg/dl
Diluents Bilirubin
(mg/dl)
1.0 ml 3.0 ml 502.0 ml 2.0 ml 1003.0 ml 1.0 ml 150
ตวอยางทไมมสารรบกวน
Bilirubin
(mg/dl)1.0 ml 9.0 ml 01.0 ml 9.0 ml 51.0 ml 9.0 ml 101.0 ml 9.0 ml 15
Diluents
ตวอยางศกษาผลการรบกวนของ bilirubin ตอการตรวจวดกลโคส
Bilirubin
(mg/dl)
ผลตรวจวดกลโคส (mg/dl)ผลรบกวน, mg/dl1 2 3 เฉลย
0 99 100 101 1005 103 101 102 102 102-100 = 2
10 104 105 103 104 104-100 = 415 112 111 110 111 111-100 = 11
Method Evaluation 24
Hemoglobin
(mg/dl)
ผลตรวจวดกลโคส (mg/dl)ผลรบกวน, mg/dl1 2 3 เฉลย
0100300500700
Triglyceride(mg/dl)
ผลตรวจวดกลโคส (mg/dl)ผลรบกวน, mg/dl1 2 3 เฉลย
0300500700
ศกษาการรบกวนของการแตกของเมดเลอดแดง (hemolytic serum)
ศกษาการรบกวนของไขมน (Lipimic serum)
Method Evaluation 25
ตวอยางศกษา
ตวอยางผปวย
สารมาตรฐานกลโคส1,000 mg/dl
Diluents(DW)
กลโคสทเตม(mg/dl)
1 A 2.0 ml 0.1 ml -2 A 2.0 ml 0.1 ml = 47.63 B 2.0 ml 0.1 ml -4 B 2.0 ml 0.1 ml = 47.6
ตวอยางศกษา Recovery ของการตรวจวดกลโคส
1.21.0000,1
1.21.0000,1
Recovery study การศกษาโดยการเตมสารในปรมาณททราบวามความเขมขนเทาใดลงในตวอยางศกษาแลวนำามาตรวจวดและนำามาวเคราะหดวาตรวจวดไดเปนรอยละเทาใดของปรมาณทเตมเขาไปในตวอยาง
Method Evaluation 26
ตวอยางศกษา
ผลตรวจวดกลโคส (mg/dl)วดกลโคสท
เตมได (mg/dl)
%Recovery1 2 3 เฉลย
1 51 53 54 52.7 - -2 97 100 98 98.3 98.3-52.7
= 45.63 124 120 121 121.7 - -4 169 166 164 166.3 166.3-
121.7= 44.6
80.951006.476.45
70.931006.476.44
Average = 94.75Proportional error (PE) = | 100 - %Recovery |PE = | 100 – 94.75 | = 5.25%
MD Level Med.AE PE 50 5.35 2.6120 12.7 6.3200 21.4 10.5
5010025.5
12010025.5
20010025.5
Method Evaluation 27
ตวอยางศกษา
ผลตรวจวดกลโคส (mg/dl)วดกลโคสท
เตมได (mg/dl)
%Recovery1 2 3 เฉลย
1 51 53 54 52.7 - -2 97 100 98 98.3 98.3-52.7
= 45.63 124 120 121 121.7 - -4 169 166 164 166.3 166.3-
121.7= 44.6
80.951006.476.45
70.931006.476.44
Average = 94.75%Expectation[1] วดได 52.7 [2] เตมสาร 47.6 จง expected จะตรวจวดได 100.3 (52.7+47.6)แตตรวจวดได 98.3
[3] วดได 121.7 [4] เตมสาร 47.6 จง expected จะตรวจวดได 169.3 (121.7+47.6)แตตรวจวดได 166.3
0.981003.1003.98nExpectatio%
2.981003.1693.166nExpectatio%
Method Evaluation 28
Method comparison study
ผลตรวจจากวธอางอง (x)
ผลตร
วจจา
กวธใ
หม (y
)
y = a
x + b
หรอ วธทใชในปจจบน
• y-intercept ใชประมาณคา CECE = y-intercept
• slope ใชประมาณคา PEPE = (slope-1)x100
• สมประสทธสหสมพนธ (r) และ sy/x ใชประเมน RE
ใชตวอยางศกษาอยางนอย 40 ตวอยาง
ใชประมาณคา systemic error (SE) SE = | Yc – Xc |Yc คำานวณจากสมการ y = a x + b โดยกำาหนดคา x = Xc
%𝐷𝑖𝑓𝑓 𝑜𝑟%𝑏𝑖𝑎𝑠= (𝑥𝑐− 𝑦 𝑐)𝑥𝑐
×100
Method Evaluation 29
ผลการศกษาเปรยบเทยบการตรวจกลโคส
y = 0.973x - 5.7, r = 0.9941, n = 82, sy/x = 3.73.172x 9.161y
MD Level Med.AE PE SE 50 5.35 1.3 7.1120 12.7 3.2 8.9200 21.4 5.4 11.1
Xc Yc
50 42.9 <=0.973x50 - 5.7120 111.1 <=0.973x120 - 5.7200 188.9 <=0.973x200 - 5.7
• วธอางอง (x)• วธใหม (y)
ผลตางใชบอก SEน.ศ. ลองตอบคำาถามน เพอทบสอบความเขาใจคาทใชบอก RE คอ...คาทใชบอก CE คอ...คาทใชบอก PE คอ...
Method Evaluation 30
22 )x(xN
yxxyNa
2N)YY(s2
cx/y
baXY
xayb
X Y X2 Y2 XY Yc Y-Yc (Y-Yc)2
1 5.1 8.5 26.01 72.25 43.35 6.53 1.97 3.88
2 5.4 2.8 29.16 7.84 15.12 6.85-
4.05 16.40
3 3.6 3.2 12.96 10.24 11.52 4.94-
1.74 3.03
4 6.8 3.6 46.24 12.96 24.48 8.34-
4.74 22.43
5 6.6 7.4 43.56 54.76 48.84 8.12-
0.72 0.52
6 6.5 7.1 42.25 50.41 46.15 8.02-
0.92 0.84
7 11.4 10.0129.9
6100.0
0114.0
013.2
2-
3.22 10.35
8 5.3 6.2 28.09 38.44 32.86 6.74-
0.54 0.30
9 4.9 3.3 24.01 10.89 16.17 6.32-
3.02 9.12
10 9.8 8.4 96.04 70.56 82.32
11.52
-3.12 9.73
11 5.5 4.1 30.25 16.81 22.55 6.96
-2.86 8.16
12 6.3 4.6 39.69 21.16 28.98 7.80
-3.20 10.27
13 4.9 2.9 24.01 8.41 14.21 6.32
-3.42 11.69
14 3.5 2.5 12.25 6.25 8.75 4.83
-2.33 5.44
15 6.5 4.4 42.25 19.36 28.60 8.02
-3.62 13.08
16 11.1 7.1
123.21 50.41 78.81
12.90
-5.80 33.63
17 7.3 5.2 53.29 27.04 37.96 8.87
-3.67 13.44
18 6.2 6.9 38.44 47.61 42.78 7.70
-0.80 0.64
19 14.6 17.8
213.16
316.84
259.88
16.61 1.19 1.41
20 11.9 15.2
141.61
231.04
180.88
13.75 1.45 2.11
21 8.8 11.2 77.44
125.44 98.56
10.46 0.74 0.55
22 16.0 19.9
256.00
396.01
318.40
18.10 1.80 3.24
23 21.0 20.7
441.00
428.49
434.70
23.41
-2.71 7.32
24 3.4 2.4 11.56 5.76 8.16 4.73
-2.33 5.42
25 8.0 6.2 64.00 38.44 49.60 9.61
-3.41 11.62
26 8.2 6.5 67.24 42.25 53.30 9.82
-3.32 11.03
27 17.1 12.4
292.41
153.76
212.04
19.27
-6.87 47.15
28 11.4 7.4
129.96 54.76 84.36
13.22
-5.82 33.84
29 11.0 11.5
121.00
132.25
126.50
12.79
-1.29 1.67
30 12.7 13.8
161.29
190.44
175.26
14.60
-0.80 0.64
S260.
8243.
22818.
32740.
92699.
1310.
3-
67.1 298.9
Nxx
Nyy
])(][)([ 2222 yyNxxNyxxyNr
Method Evaluation 31
y = 1.0612x - 1.1191R2 = 0.8068
0.0
5.0
10.0
15.0
20.0
25.0
0.0 5.0 10.0 15.0 20.0 25.0
Reference method
Eval
uate
d m
etho
dy = 1.005x - 0.1175
R2 = 0.9965
0.0
5.0
10.0
15.0
20.0
25.0
0.0 5.0 10.0 15.0 20.0 25.0Eval
uate
d m
etho
d
Reference methodMD level SE Yc
10 0.5 9.5 =1.0612x10-1.1191 15 0.2 14.8 =1.0612x15-1.1191
SE Yc
0.1 9.9 =1.005x10-0.11750.0 15.0 =1.005x15-0.1175
5 0.8 4.2 =1.0612x5-1.1191 0.1 4.9 =1.005x5-0.1175
25.051005
5.0101005
75.0151005
AcceptablePerformance 5% Allowable error
Method Evaluation 32
NCCLS EP9-A2 Method Comparison and Bias Estimation Using Patient Samples;Approved Guideline—Second Edition1) ใชจำานวนตวอยางศกษา อยางนอย 40 ตวอยาง ทความเขมขนครอบคลม
ชวงคาทวธตรวจนนตรวจได และควรมคาทอยนอกชวงคาอางอง อยางนอย 50% (20 ตวอยาง)
2) การตรวจตวอยางศกษา ตองทำาอยางนอย 5 วน3) การตรวจตวอยางศกษาแตละตวอยาง ตองตรวจแบบ duplicate ทงวธ
ทตองการศกษาและวธทใชอางอง และตองมการตรวจตวอยางควบคมคณภาพการตรวจดวย
Sample#
Test Method Comparative Method
Result1 Result2 Result1 Result2123::
2940
NCCLS. Method Comparison and Bias Estimation Using Patient Samples; Approved Guideline—SecondEdition. NCCLS document EP9-A2 (ISBN 1-56238-472-4). NCCLS, 940 West Valley Road, Suite 1400,Wayne, Pennsylvania 19087-1898 USA, 2002.
Method Evaluation 33
Sigma,
-6s -5s -4s -3s -2s -1s1s 2s 3s 4s 5s 6s
คอ คาเบยงเบนมาตรฐานของขอมล
SDWithin + SD
Out of range + SD
(%)(Per
million)
168.26894921
% 317,310.51
295.44997361
% 45,500.26
399.73002039
% 2,699.80
499.99366575
% 63.342
599.99994267
% 0.5733
699.99999980
% 0.0020+ 6SD+ 5SD+ 4SD+ 3SD+ 2SD+ 1SD
กรณขอมลมการกระจายแบบรประฆงคลำา (ปกต)ชวง Mean + SD ใชประมาณสดสวนจำานวนขอมลทอยในขอบเขตนน ดงตาราง
Six Sigma; 6
Method Evaluation 34
1.5 SD
Accept region
Sigma Metric
DPMwithout shift
DPMwith 1.5s
shift
1.00 317,400 697,700
2.00 45,400 308,637
2.50 12,419 158,686
3.00 2,700 66,807
3.50 465 22,750
4.00 63 6,210
4.50 6.8 1,350
5.00 0.57 233
5.50 0.038 32
6.00 0.002 3.4
Defects Per Millionเปาหมายการผลตสนคา ตองการใหผลผลตมจำานวนเสยหายคดเปน Sigma metric = 6ภายใตการผลตท shift ไป 1.5sจำานวนสนคาทเสยหายตองไมเกน 3.4 DPM
-6s -5s -4s -3s -2s -1s1s 2s 3s 4s 5s 6s
ความคาดเคลอนของกระบวนงาน(ประสบการณจากบรษท โมโตโรลา; เกด shift ได 1.5SD)
Method Evaluation 35
ยางรถยนตจำานวน 6,000,000 เสนทผลตและนำาไปใชพบวา เปนสาเหตทำาใหเกดอบตเหตจำานวน 2,000 ครงและมคนเสยชวตจำานวน 100 ครงDefect of production is 2,000
6,000,000333
1,000,000
= 333 DPM=
Sigma Metric
DPMwithout shift
DPMwith 1.5s
shift
1.00 317,400 697,700
2.00 45,400 308,637
2.50 12,419 158,686
3.00 2,700 66,807
3.50 465 22,750
4.00 63 6,210
4.50 6.8 1,350
5.00 0.57 233
5.50 0.038 32
6.00 0.002 3.4
Process performance is3.5 sigma metric using the DPMwithout shift column.5.0 sigma metric using the DPMwith 1.5s shift column.
Method Evaluation 36
Six Sigma provides a new methodology for measuring process performance andrefines earlier methodologies for making process improvements.
ปจจบน องคการธรกจชนนำา ใช Sigma metric เปนตวช วดความสำาเรจ และมเปาหมายใหได ระดบ 6Airline baggage handling shows 4.15 SigmaAirline safty shows more than 6 Sigma
Method Evaluation 37
Q-Probe QUALITY INDICATOR % ERROR DPM SIGMA*Order accuracy 1.8 % 18,000 3.60Duplicate test orders 1.52 15,200 3.65Wristband errors (not banded) 0.65 6,500 4.00TDM timing errors 24.4 244,000 2.20Hematology specimen acceptability 0.38 3,800 4.15Chemistry specimen acceptability 0.30 3,000 4.25Surgical pathology specimen accessioning 3.4 34,000 3.30
Cytology specimen adequacy 7.32 73,700 2.95Laboratory proficiency testing 0.9 9,000 3.85Surg path froz sect diagnostic discordance 1.7 17,000 3.60
PAP smear rescreening false negatives 2.4 24,000 3.45Reporting errors 0.0477 477 4.80*Conversion using table with allowance for 1.5s shift
From.. http://www.westgard.com/lesson66.htm
Nevalainen D, Berte L, Kraft C, Leigh E, Morgan T. Evaluating laboratory performance on quality indicators with the six sigma scale. Arch Pathol Lab Med 2000;124:516-519
Method Evaluation 38
Inspect Outcomesand Count
DefectsCalculate DefectPer Million
(DPM)Convert DPM
to Sigma Metric
Measure Variationof Process
Calculate SD and
Process CapabilityConvert Capabilityto Sigma Metric
Measure Outcome
Measure Variation
Two Approaches for Measuring Process Performance
Method Evaluation 39
Bias Imprecision
TrueMeasured value
Total Error (TE)
Systemic error Random error
ความผดพลาดทยอมรบได (total allowable error), TEa
Method Evaluation 40
TE = Bias + ImprecisionTE = Bias + z CV
Bias Imprecision
TrueMeasured value
Total Error (TE)
Allowable total error, TEa
TEa = Bias + z CV
CVBiasTEz a
ใชคา z ประเมนคณภาพผลการตรวจของหองวเคราะห และ ตดตามการพฒนาคณภาพงานของหองคา Z คอคา Sigma ในทางสถตวเคราะห
Sigma metric concept
Method Evaluation 41
0
2
4
6
8
10
12
0 1 2 3 4 5 6
Method Evaluation Chart for …………………………………………………….
Imprecision, %CV
Inac
cura
cy, %
Bias
Method Evaluation Decision (MEDx) Chartfor Judging Method Performance
Allowable Total Error (%): 10.00 % (at decision level)
Inaccuracy (%bias): 3.00% (Observed at decision level)
Imprecision (%CV): 2.50% (Observed at decision level)
TE = Bias + z Imprecision (TE - Bias)Imprecision = ------------- z
z = 2z = 3z = 4
Observed (2.5,3.0)inaccuracy and imprecision
Excellent performance
Good performance
Poor performanceMarginal performance
From… James O. Westgard CLIN LAB SCI vol. 8, no. 5, Sept/Oct 1995, 277-283
Region of UnacceptablePerformance
Method Evaluation 42
Measurement responseZero or “Blank”
Lower Limitof Detection
LLDBiologic Limitof DetectionBLD
Functional Sensitivity
FS
LLD = meanblk + Z sblk BLD = LLD + Z sspk
“Spiked”sample
“Spiked”sample
FS is estimated as the mean concentration for a spiked sample whose CV is 20%. Westgard, JO. The detection limit experiment. from..http://www.westgard.com/lesson29.htm
Z sblk Z sspkZ is 2 or 3.
Different Concepts of detection limit
Method Evaluation 43
ตวอยาง การศกษา LLD และ BDL ของ PSA measurementBlank sample ( 0 ug/L) : mean = 1000 unit SD = 100 unitSpike sample (10 ug/L) : mean = 2000 unit SD = 200 unit
LLD (ug/L) =
0 + 2 (
100X 10 ) = 2 ug/L(2000-
1000)BDL (ug/L) =
2 ug/L + 2 (
200X 10 ) = 6 ug/L(2000-
1000)SD of Spike sample (10 ug/L) = 200 unit equal to 2 ug/L
CV = 2 ug/L X 100 = 20 %10 ug/LFS = 10 ug/L
Method Evaluation 44
http://home.kku.ac.th/chuare/10/referencevalue.pdf
เอกสารคำาสอน เรองคาอางอง (Reference Value)เขยนโดย รศ.ชชาต อารจตรานสรณ
• ประโยชนของคาอางอง• การเกบขอมลเพอกำาหนดคาอางอง
- ตวอยาง (เปนตวแทนของประชากรได)คำานวณจำานวนตวอยางทใชการศกษาhttp://home.kku.ac.th/wiskun/451710/SampleSizeCal.pdf
- วธตรวจ (ตองเชอถอได)• วธกำาหนดคาอางอง
- กรณขอมลกระจายแบบปกตmean + 2SD
- กรณขอมลกระจายแบบไมปกตPercentile 2.5% - 97.5%
Method Evaluation 45
ปฏบตการฝกคำานวณ Reference Value• ใหนกศกษา download ขอมลตวอยาง จาก
http://home.kku.ac.th/wiskun/465211/DataForRefVal.xls
ซงใน Worksheet ชอ Data ของไฟลท download จะมขอมลผลตรวจสารเคมชนดตางๆ จากผตรวจสขภาพประจำาป จำานวน 852 คน• กำาหนดนยม "ผมสขภาพด" คอ• ม BMI ปกต (18.5 - 22.9 Kg/m2)
จงวเคราะหเพอกำาหนดคาอางองของผลตรวจสารเคมชนดตางๆ• กรณกำาหนดคาอางองโดยใชชวง Mean 2 SD• กรณกำาหนดคาอางองโดยใชคา Percentile ท 2.5% ถง percentile ท 97.5%
Method Evaluation 46
ขนตอนการวเคราะห• คดกรองเอาเฉพาะขอมลทมคา BMI ปกต กอน• ใช Microsoft Excel function คำานวณคา
Mean [AVERAGE(…)], SD [STDEV(…)], Percentile ท 2.5%
[PERCENTILE(…,0.025)] และ Percentile ท 97.5% [PERCENTILE(…,0.975)]
เพอกำาหนดคาอางองกรณแยกตามเพศและกรณไมแยกตามเพศ
• ทำาตารางสรปผลการวเคราะหขอมลเพอกำาหนดคาอางองไวในอก Worksheetสงไฟลผลงานการวเคราะหให อ.วสทธ กงวานตระกลท e-mail: [email protected] หลงการฝกปฏบตเสรจ
Method Evaluation 47
Diagnostic sensitivity and specificity
ผลตรวจบงช
พยาธสภาพ
รวมDisease Non-
diseasePositive True Positive
aFalse Positive
b a + bNegative
False Negative
cTrue Negative
d c + dรวม a + c b + d a+b+c+
d
EvaluatedMethod
Gold or StandardMethod
Diagnostic Performance
Method Evaluation 48
Diagnostic sensitivity and specificityผลตรวจบงช พยาธสภาพ รวมDisease Non-disease
Positive True Positivea
False Positiveb (-error) a + b
Negative False Negativec (-error)
True Negatived c + d
รวม a + c b + d a+b+c+d
Sensitivity = Specificity =caa bd
d
Positive predictive value =
Negative predictive value =
baa
cdd
Efficiency = dcbada
Prevalence = dcbaca
Method Evaluation 49
True PositiveTrue Negative
เปนโรค
ไมเปนโรค
Cut-off level
ความ
ถ
คาผลตรวจ
เปนโรค
ไมเปนโรค
A B C D
Cut-off level
ความ
ถ
คาผลตรวจ
No False NegativeFalse Positive
เปนโรค
ไมเปนโรค
A B C D
Cut-off level
ความ
ถ
คาผลตรวจ
เปนโรค
ไมเปนโรค
A B C D
Cut-off level
ความ
ถ
คาผลตรวจ
True PositiveTrue Negative
No False PositiveFalse Negative
True PositiveTrue Negative
False Positive
False Negative
ความไวสง และความจำาเพาะสง
ความไวตำา แตความจำาเพาะสง
ความไวสง แตความจำาเพาะตำา
True PositiveTrue Negative
ความไวสง และความจำาเพาะสง
No False PositiveNo False Negative
ผลตรวจบงชพยาธสภาพ
Disease Non-disease
Positive True Positivea
False Positive
b (-error)
NegativeFalse
Negativec (-error)
True Negative
d
Sensitivity = caa
Specificity = bdd
ก
ค
ข
ง
Method Evaluation 50
Likelihood Ratio; LR
The likelihood ratio of a positive test result (LR+) is sensitivity divided by 1- specificity.
The likelihood ratio of a negative test result (LR-) is 1- sensitivity divided by specificity.
LR+ =
Sensitivity1-
Specificity
LR- =1-
SensitivitySpecificityIn general, a diagnostic test with an LR of >10 or <0.10 changes
pretest probability dramatically and is considered a strong diagnostic test.
Method Evaluation 51
Sensitivity(%)
Specificity(%)
PPV(%) NPV(%)
UPCR > 0.15 96 53 66 91UPCR > 0.17 91 58 67 88UPCR > 0.19 89 70 74 88UPCR > 0.24 73 87 84 78UPCR > 0.28 66 95 93 75UPCR > 0.39 55 100 100 71UA protein > 1+
41 100 100 65
UA protein > 2+
23 100 100 28
UA protein > 3+
11 100 100 55
From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7.
การใช UPCR และ UA protein วนจฉยภาวะProteinurea (>300mg/24-h urine)
Method Evaluation 52
Table 3 Likelihood ratios for the urine protein-creatinine ration and the urinalysis for different ranges of test results.Test Result Likelihood ratioa (95%
CI)Interpretation
UPCR < 0.15 0.07 (0.02 – 0.27) Negative 0.15 – 0.27
0.73 (0.44 – 1.20) Indeterminate
> 0.28 13.21 (4.3 – 40.5) PositiveUA Negative 0.59 (0.47 – 0.73) Indeterminate > 1+ 49.29 (3.1 – 792.8) PositiveAbbreviations: UA, urinalysis; UPCR, urine protein–creatinine ratio.a0.05 was added to empty cells to allow for the calculation of the likelihood ratios.From: Dwyer BK, Gorman M, Carroll IR and Druzin M. Journal of Perinatology 2008;28:461–7.
Method Evaluation 53
Receiver Operating Characteristic curve
Method Evaluation 54
Trueness
Accuracy
Precision
SystematicError
TotalError
RandomError
Bias
Uncertainty
StandardDeviation
PerformanceCharacteristics Kind of Error Term of Expression
Expression of analytical specific performance characteristics
From…Büttner J: Reference Materials and Reference Methods in Laboratory Medicine: A Challenge to International Cooperation, Eur J Clin Chem Clin Biochem, 32,8: 571-577, 1994.