Summary of the Reference  Laboratory Network (RLN)  meeting

Krakow 2015

Presentations • Accuracy Task Force Interim Report (Brian WICKHAM)• Proficiency Testing in ICAR – History and present situation (Philippe 

TROSSAT)

• Example of a National Laboratory Network – Germany (Thomas HAUCK)• IDF/ICAR project “Reference System for Somatic Cell Counting”

(Harrie 

VAN DEN BIJGAART)

• Optimir standardisation of MIR instruments

(Clément GRELET)

Proficiency Testing in ICAR – History  and present situation

Proficiency Testing in ICAR – History  and present situation

Countries highlighted red 

participated in ICAR PT in 

last few years

Discussion around how we 

can improve participation

In general only around 50% 

ICAR labs participate (20 out 

of 40 reference labs)

RG Fat exampleMARCH 2014 ● SEPTEMBER 2014 ● MARCH 2015 ●

Most results in box = good 

performance

Somatic CellsMARCH 2014 ● SEPTEMBER 2014 ● MARCH 2015 ●

A lot of results outside box = 

not good equivalence

IDF/ICAR project “Reference System for  Somatic Cell Counting”

On the Road to Better Global 

Equivalence in Somatic Cell Counting

IDF/ICAR Project Group on 

Reference System for Somatic Cell Counting

Project leader: Harrie van den Bijgaart

(bijgaart@qlip.nl)

Somatic cell countingDefining method (DMSCC)

(ISO 13366‐1|IDF 148‐1)

+ Direct microscopic count‐

Analyte poorly defined‐

Laborious, cumbersome‐

Requires well‐trained analysts‐

Poor precision

Routine methods(ISO 13366‐2|IDF 148‐2)

+

Automated, user‐friendly+

High throughput+

High precision‐

Needs reference

9

Precision DMSCC vs routine methods

All values in ‘000/mL                                     Source: ISO 13366‐1/2|IDF 148‐1/2

10

Mean

sr

sR

r

R

Reference

245

38

41

107

114679

69

79

192

218

Routine

245

13

20

36

57679

21

40

59

112

Criteria for

competenceof contributing labs

Criteria for

competenceof contributing labs

Certification process 

Assigned value

REF.

MAT.

LAB A

LAB B

LAB C

RESULT A

RESULT B

RESULT C

DMSCC

DMSCC

DMSCC

RESULT D      

RESULT E      

RESULT F      

ROUTINE    

METHOD    

ROUTINE   

METHOD    

ROUTINE    

METHOD     

LAB D

LAB E   

LAB F    

ROUTINE LAB

Calibration transfer

ROUTINE LAB

NATIONAL LAB

Calibration transfer

ROUTINE LAB

NATIONAL  LAB ROUTINE LAB

Performance in proficiency testing

Quality indexes PL

and PQ

12

Progress (1) 

Created much awareness about the project through publications, 

presentations, newsletters, website www.fil‐idf.org/RSSCC

3 Questionnaires in 2010 to 2013

Reference material providers and organizers of proficiency testing

QA and anchoring in routine laboratories (214 replies)

Interest in certified reference materials (141 replies)

Identified interlinkages between labs worldwide through use of 

secondary reference materials and participation in proficiency 

testing

13

Progress (2) 

Guidelines for preparation of reference materials, 

see IDF Bulletin 469/2013

Optimized procedure for preparation of reference materials

Publication on ‘Evaluation on proficiency tests and laboratory 

performance through quality indexes’

(close to submission)

Following work in ISO/TC 276 Biotechnology on Cell CountingPart 1: General guidance on cell counting methods

Part 2: Experimental design and statistical analysis  

to quantify counting method performance

14

Activities of EU JRC/IRMM (1) 

Formal confirmation of EU JRC/IRMM to have preparation of 

certified reference material on her working program 2015‐2016

Collaborative work started in 2014

Organizing access to raw material, processing, measurement needs

Familiarizing with preparation protocol

Test batches produced in December 2014 and February 2015

15

Implementation and future functioning

Cooperation needs a structure

Which tasks?

Implementation

Monitoring performance

Providing guidance to users, internal and external stakeholders

Communication with stakeholders

Which stakeholders?

Which position?

What structure?

Accuracy Task Force Interim Report

Terms of Reference1

1.

Provide a philosophical basis for ICAR and its Groups to use in 

addressing accuracy considerations.

2.

Provide tools which ICAR Groups can use in making accuracy 

related decisions.

3.

Report in June 2015.

1 Presentation to ICAR Meeting – May 2014, Berlin. 17

Martin Burke, Ireland, milk recording, recording devices and quality systems

Kees de Koning, Netherlands, recording device testing, and statistical systems.

Albert de Vries, USA, precision systems, research and management information

Bevin Harris, New Zealand, statistics, animal breeding and recording systems

Esa Mäntysaari, Finland, statistics, animal breeding and research

Filippo Miglior, Canada, milk recording, research and animal breeding

Harrie van den Bijgaart, Netherlands, milk analysis, milk recording and analytical systems

Joel Weller, Israel, statistics, economics, research and animal breeding

Brian Wickham, Ireland, Convenor

Karl Zottl, Austria. Field use of quality data

Members (Name, country, expertise)

18

Measurement System Analysis

19

Identify:• animals• environment

Sample & 

measure:•traits•repeat 

• Validate• Store• Combine• Analyze• Evaluate• …

Breeding 

Quality Assurance

Disease Animal Care 

Farm Management 

Record Process Decide

Benefit

income

cost

quality

waste

health

welfare

Cost

20

Optimir standardisation of MIR  instruments

OptiMize this sourceof information

Cow stateSpectra MIR

Prediction tools fast, cheap, via milk control organisations

Informations on : ‐

fertility 

(pregnancy…)‐

feeding 

(acidosis, ketosis, energy balance…)‐

health 

(mastitis…)‐

environmental impact (methane…)

Innovative view of OptiMIR

0 100 200 300 400 500

0 100 200 300 400 500

0 100 200 300 400 5000 100 200 300 400 500

0 100 200 300 400 500

0 100 200 300 400 500

OptiMir

Develop MIR models 

predicting cow state:

Variability is 

needed to build 

robust models

69 

instruments

-0.015 -0.01 -0.005 0 0.005 0.01 0.015 0.02

-0.02

-0.015

-0.01

-0.005

0

0.005

0.01

0.015

Scores on PC 4 (0.01%)

Sco

res

on P

C 5

(0.

01%

)

Samples/Scores Plot of X212

Variability of instrumentsPCA on informative wavenumbers , for 5 

common samples analysed on 45 

instruments from the same brand

-0.015 -0.01 -0.005 0 0.005 0.01 0.015 0.02

-0.02

-0.015

-0.01

-0.005

0

0.005

0.01

0.015

Scores on PC 4 (0.01%)

Sco

res

on P

C 5

(0.

01%

)

Samples/Scores Plot of X212

Variability of instrumentsPCA on informative wavenumbers , for 5 

common samples analysed on 45 

instruments from the same brand

Reduce the variability of instruments

-0.01 -0.005 0 0.005 0.01 0.015 0.02 0.025

-0.02

-0.015

-0.01

-0.005

0

0.005

0.01

0.015

Scores on PC 4 (0.01%)

Sco

res

on P

C 5

(0.

00%

)

Samples/Scores Plot of X212

NONSTD

STDMASTER

MASTER

Monthly since january 2012, 67 instruments into 27 labs 

Increasing network

Merging database

Creation of common models, more robust

Use of the models by all instruments

Conclusion

Common langage for all instruments

Equations become universal

Standardisation of milk mid‐infrared spectra from a European dairy network, C. Grelet, J.A. Fernández Pierna, P. Dardenne, V. Baeten,

F. Dehareng,Journal of Dairy Sciences, 2015, 98 :2150–2160

Example of a National Laboratory  Network – Germany

Key figures – structure (31 March 2015)

•Performance testing 51,049 herds with 3,739,175 cows Germany is the second largest DHI region world wide

•Quality monitoring for the milk payment scheme of all German dairy producers and dairy cows 69,417 dairy farms with around 4.3 million cows

Germany is the largest milk producer in the EU with more than 30 million tons in 2014

29

Quality management

• All DLQ labs are accredited according to 

DIN EN ISO/IEC 17025.• All labs are certified according to ICAR CoQ.

• Proficiency tests

• Internal: automatically monitoring of routine testing by internal 

reference material.

• National: periodic validation of results concerning all analyzed

components by participation in proficiency test. 

• Single DLQ labs participate in international proficiency tests. By 

taking part in national proficiency tests all labs benefit from 

constructed network. 

30

Laboratory network of Germany – DLQ  e.V.

31