validação interna de um método de ensaio baseado em atp para a

71

Resumo: O uso de métodos de detecção de ATP tem sido proposto em alternativa ao de métodos microbiológicos para fazer a monitorização rápida da higiene das superfícies, necessária nos planos HACCP. Fez-se um estudo para validar a utilização de um método comercial na monitorização do estado de higiene de superfícies, na produção e recolha de leite cru de bovino, integrada num plano de HACCP. Pretendeu-se, também explorar o potencial para utilização na área da higiene alimentar, de uma metodologia usada correntemente na avaliação e interpretação de métodos de ensaio semi-quantitativos em epidemiologia clínica. Estudaram-se: a precisão (repetibilidade e reprodutibilidade), a exactidão (quer através de um modelo de regressão linear, quer pela determinação da sensibilidade e da especicidade relativas) e a sensibilidade do método para fazer a detecção de matéria orgânica e de microrganismos. Como resultado, obtiveram-se valores para o limite de negatividade e para o limite de positividade dos resultados do método, que foram xados em 85 RLU e 110 RLU, respectivamente. Concluiu-se que, este método pode ser útil para a monitorização de pontos críticos em planos HACCP relacionados com a higiene de camiões cisterna utilizados na recolha de leite cru. Propõem-se estratégias para o tratamento dos resultados de monitorização da luminometria ATP, úteis em actividades de vericação de planos HACCP. Os autores concluem que, a realização de contagens de bactérias em superfícies com métodos da microbiologia tradicional, não pode ser substituída pela luminometria ATP, continuando a primeira a ser necessária em actividades de vericação e auditoria nos planos HACCP.

Summary: ATP detection methods have been proposed as an alternative to microbial methods for monitoring the hygienic status of surfaces, in the frame of HACCP plans. A commercial method was evaluated and validation studies were carried out to assess its utility as a possible monitoring method for the hygiene of surfaces in the raw milk process. The authors have studied the reliability and accuracy of the method and its sensitivity to detect diluted milk and microorganisms. They propose values to positive/negative cut-off of the results in this paper. The authors concluded that this method can be useful for monitoring activities of critical control points. However, methods based in the traditional microbiology can not be replaced, for the purposes of verication activities, due to an inadequate sensitivity threshold of the ATP method. They also considered the possible use as an auxiliary tool in verication activities on HACCP and make some

recommendations of its utilisation. The methodology proposed for the validation can be extended to validation activities concerning semi-quantitative assay methods.

Introdução

Para a implementação de planos HACCP é necessário dispor de métodos de ensaio capazes de fornecer uma resposta rápida, quer nas actividades de monitorização quer nas de verificação (CAC, 1997). No entanto, a Comissão do Codex Alimentarius (CAC, 1997) exige que, os métodos a utilizar em actividades de monitorização e de verificação, sejam validados previamente com a finalidade de se avaliar a sua capacidade para realizar os ns pretendidos. Não deve ser confundida a validação de um método de ensaio, para a qual existem na maior parte dos casos normas próprias e que é habitualmente conada a laboratórios de referência nacionais ou internacionais, com a validação do plano HACCP requerida pelo CAC (1997), claricada posteriormente quanto à acepção e metodologia (ILSI, 1999). Neste, a validação consiste no conjunto das actividades que a empresa deve levar a cabo para demonstrar que os elementos do plano HACCP são ecazes. A aplicação deste conceito aos métodos de ensaio que será preciso utilizar para implementar os planos HACCP, faz-se através de uma validação interna do método e destina-se a demonstrar a sua ecácia nas condições de trabalho próprias de cada empresa.

O uso de métodos de detecção de ATP tem sido proposto em alternativa ao de métodos microbiológicos para fazer a monitorização da higiene das superfícies (Griffith et al., 1994), pela rapidez da resposta, abilidade e facilidade de utilização, tudo isto com custos aceitáveis relativamente a outros métodos. Numa publicação sobre a aplicação de técnicas de detecção de ATP na avaliação da higiene em cisternas de transporte de leite Bell et al. (1994) e Stallard (1995) concluem que esta técnica pode ser utilizada ecazmente para

Validação interna de um método de ensaio baseado em ATP para a monitorização da higiene de superfícies de aço inox na indústria dos lacticínios.

Internal validation of an ATP assay method for hygiene monitoring of inox surfaces in the dairy industry.

J. Niza Ribeiro1*, J. Cerqueira1, P. Santos1 A. Louzã2

1 Laboratório de Sanidade Animal – Agros, R. Recarei, s/n, 44566 S. Mamede Infesta2 CIISA, Faculdade de Medicina Veterinária, UTL, R. Prof. Cid dos Santos 1300-477 Lisboa.

*Correspondente: [email protected]

RPCV (2002) 97 (542) 71-80 R E V I S T A P O R T U G U E S ADE

CIÊNCIAS VETERINÁRIAS

72

monitorizar a eciência da limpeza das cisternas de transporte de leite. Quando um método com resposta quantitativa tem precisão e ou sensibilidade insucientes é usado, habitualmente, como um método qualitativo, interpretando-se os seus resultados em dois ou três níveis: positivo e negativo ou positivo, duvidoso e negativo. No entanto, em métodos como o que se estudou neste trabalho, pode-se tirar partido da sua capacidade de quantificação que, embora limitada, permite um aproveitamento que vai para além do simples positivo ou negativo. Isso é possível calculando as razões de verosimilhança positiva e negativa que, permitem associar a intensidade da resposta, num ensaio, à probabilidade de a amostra ser positiva ou negativa.

Não se encontram, coligidas num só guia, metodolo-gias para a avaliação de desempenho de testes comerciais que, permitam a sua validação nas condições acima referidas. Existem guias de orientação para a validação de métodos internos de ensaio em análise química (Relacre, 2000) ou microbiológica (Microval, 1997). Os métodos para detecção de ATP comercializados, no entanto, não se enquadram em nenhuma das categorias anteriores. No presente trabalho, os autores procedem à validação interna de um método comercializado para a detecção de ATP em superfícies, combinando a metodologia usada na validação interna de métodos quantitativos com a metodologia utilizada para a interpretação de resultados laboratoriais em medicina, de forma a validar o método para a sua utilização na monitorização de PCC, em camiões cisterna utilizados na recolha de leite cru. Testou-se um sistema comercial para leitura de luminometria ATP, comercializado pela firma Celsis-Lumac, para fazer a monitorização de higiene de superfícies.

Pretendeu-se neste trabalho, propor uma abordagem para a validação interna de métodos de ensaio com resposta semi-quantitativa, isto é, métodos cujos resultados permitem uma interpretação mais na do que o simples “pass-fail”, sem serem quantitativos. O procedimento assenta na avaliação de quatro itens principais: 1) a determinação dos valores limite, 2) o cálculo de parâmetros de exactidão, 3) o cálculo de parâmetros de precisão e 4) o cálculo de parâmetros para apoio à interpretação dos resultados.

Para clareza da exposição, apresentam-se seguida-mente as denições dos conceitos mais importantes utilizados de acordo com Anónimo (1997), Anónimo (1998) e Smith (1995). O limite de negatividade, é o valor máximo do resultado que corresponde a uma superfície limpa. O limite de positividade, é o valor mínimo do resultado que corresponde a uma superfície suja. O limite de detecção, é a menor quantidade do analito que o método é capaz de detectar. O limite de quanticação, é a menor quantidade do analito que o método é capaz de detectar em condições conhecidas e consideradas admissíveis de precisão e de exactidão. Entende-se por exactidão a aproximação entre o valor do resultado e o valor verdadeiro, de um analito

contido na amostra. No caso de um método qualitativo, a interpretação deste conceito assume uma forma particular. A exactidão de um método qualitativo, é dada pela proporção de resultados correctos nos resultados obtidos, numa série de ensaios. A especicidade relativa é entendida como a capacidade de um método para detectar amostras negativas no universo das amostras negativas. A sensibilidade relativa, é capacidade de um método qualitativo para dar resultados positivos no universo das amostras positivas. Entende-se por precisão, a aproximação entre resultados de ensaios independentes, realizados com fracções de uma amostra homogénea. A repetibilidade e a reprodutibilidade são medidas de precisão. Repetibilidade, é a aproximação de resultados de ensaios sucessivos de uma amostra, efectuados nas mesmas condições de medição. Repro-dutibilidade é a aproximação entre os resultados de ensaios de uma amostra com alteração de uma ou mais condições de medição, por exemplo o momento, o operador, o laboratório.

Material e métodos

Para proceder à validação interna da capacidade de um método comercial, da marca Celsis Lumac systemSURE, relativamente à sua capacidade de detecção de ATP leite cru, conduziram-se quatro protocolos experimentais diferentes. Utilizou-se o equipamento portátil e as zaragatoas da referida marca. Os ensaios de determinação de ATP executaram-se de acordo com as instruções do fabricante e a contagem de células somáticas e de microrganismos totais nas amostras de leite cru utilizadas foi feita em equipamentos de contagem automática da marca Foss ®, respectivamente Fossomatic e Bactoscan.

Para determinação dos limites de positividade e de negatividade do método, zeram-se 132 ensaios em diferentes superfícies de aço inoxidável, designadamente: tampas de câmaras de camiões cisterna utilizados no transporte de leite, tampos de bancadas de laboratório e superfícies de autoclave. Escolheram-se sempre superfícies visualmente limpas e, no caso dos camiões, foram utilizados sempre camiões lavados. Fizeram-se quatro ensaios consecutivos, sobre uma área de 100 cm2 com a limpeza da superfície entre cada ensaio, do seguinte modo: (1) passou-se a zaragatoa sobre a superfície delimitada, aparentemente limpa; (2) lavou-se depois, a superfície, com um produto de limpeza abrasivo e passou-se uma nova zaragatoa; (3) a seguir, esfregou-se a superfície com álcool e, após chamejamento, passou-se a terceira zaragatoa; (4) repetiu-se o terceiro passo e passou-se a última zaragatoa. Foram feitas, pelo mesmo operador, 33 séries de ensaios, com os 4 passos cada, em superfícies diferentes. Pretendeu-se com este protocolo determinar o limite de negatividade e o limite de positividade do método e conhecer a gama de variação dos resultados, numa superfície limpa. Calculou-se o limite de negatividade através da fórmula x+1,66s

Niza Ribeiro, J., et al. RPCV (2002) 97 (542) 71-80

73

assumindo t(0,05, n=66), em que, x é a média e s é o desvio padrão e o limite de positividade através da fórmula x-3,1s assumindo t(0,001, n=66). A Tabela 1 apresenta os resultados desta experiência. Parte destes resultados serviu também para o cálculo da especicidade relativa (Esp) do método (Tabela 5). Estes resultados permitiram ainda, avaliar a possibilidade de haver interferências dos diferentes tipos de acabamento das superfícies utilizadas, nos resultados do método (Tabela 6).

Para determinação do limite de detecção de leite cru diluído em água, obtiveram-se 3 amostras de leite cru que se designaram por amostra A, B e C na Tabela 2. As amostras foram diluídas em solução de Ringer a 10%, 2%, 1,3%, 1%,e 0,2%. Espalhou-se 1 ml de leite cru em natureza e 1 ml de cada uma destas diluições, em superfícies de aço inox com 100 cm2, previamente limpas e desinfectadas. Os ensaios para detecção de ATP foram todos realizados pelo mesmo operador. Cada diluição foi ensaiada em duplicado. Fizeram-se também ensaios duplicados com solução de Ringer como controlo e ensaios a branco. Realizaram-se 48 ensaios no total. Os resultados desta experiência constam da Tabela 2. Trataram-se os logaritmos decimais dos resultados através de correlação e regressão linear, avaliando-se neste caso a variação da intensidade da resposta, em RLU, em função da variação da diluição (Tabela 4). Pretendeu-se, com este protocolo, determinar o limite de detecção do método para leite diluído em água, calcular a sua sensibilidade relativa (Se) (Tabela 5) e, ainda, determinar os seus valores de repetibilidade e reprodutibilidade, em superfícies de aço inox (Figura 2).

Para estudar o limite de detecção relativamente a microrganimos, seleccionaram-se uma estirpe de Escherichia coli e outra de Pseudomonas spp., isoladas a partir de amostras de leite cru provenientes do leite de tanques de refrigeração. Partindo de suspensões puras e muito concentradas de E. coli e de Pseudomonas spp., efectuaram-se diluições sucessivas, de base 10, em solução de Ringer até à diluição 10-4. Quanticaram-se os microrganismos presentes na suspensão mãe e nas diluições, de acordo com as NP - 1995 (1982) e NP - 2079 (1989) e exprimiram-se os resultados em unidades formadoras de colónias por mililitro (ufc ml-1). Fizeram-se 5 ensaios de cada diluição, tendo-se medido directamente na cuvete de reacção 50 µl da suspensão, para quanticação do ATP presente. Desta forma, eliminou-se dos resultados, a possibilidade de haver interferências devidas às superfícies utilizadas. Exprimiram-se os resultados em Unidades Relativas de Luz (RLU). Contou-se também, o número de ufc das estirpes presentes nos 50 µl de suspensão usados para cada ensaio (Tabela 3). Calcularam-se os logaritmos decimais destes resultados para determinar a correlação e regressão linear e, deste modo, determinar o limite de detecção do método relativamente a alguns micror-ganismos com importância na higiene dos alimentos (E. coli) e na tecnologia do leite cru (Pseudomonas spp.). Os ensaios foram realizados pelo mesmo operador e,

por isso, utilizaram-se para estimar a repetibilidade (Figura 2, Gráco 2).

Para avaliar o efeito da passagem do tempo sobre o limite de detecção do teste, diluiu-se uma amostra de leite cru em solução de Ringer a 10%; 1% e 0,1%. Espalhou-se 1 ml leite em natureza e 1 ml das restantes diluições numa superfície de 100 cm2, previamente limpa que foram ensaiadas em duplicado. Cada diluição, foi distribuída em quatro quadrados para ser ensaiada em diferentes momentos, designados 0, 10, 100 e 1000 de acordo com o tempo, em minutos, que decorreu entre o espalhamento das amostras e a realização dos ensaios. Fizeram-se duas experiências com 32 ensaios cada seguindo matriz, em dias diferentes, totalizando 64 ensaios. Estes foram sempre executados pelo mesmo operador. Pretendeu-se assim, vericar a existência de um possível efeito de interferência do tempo sobre os resultados (Figura 1). Estes resultados serviram ainda para estimar a reprodutibilidade do método (Figura 2, Gráco 1).

Para além da metodologia estatística já referida, utilizou-se o coeciente de variação expresso em per-centagem, CV (%), para fazer o cálculo da repetibilidade e da reprodutibilidade do método. Para o estudo do comportamento operacional do teste calcularam-se a sensibilidade (Se = resultados verdadeiro positivos / total de ensaios positivos) e a especicidade relativas (Esp = resultados verdadeiro negativos / total de ensaios negativos). Calculou-se a exactidão da seguinte forma: (Exactidão = ((resultados verdadeiro positivos)+(resultados verdadeiro negativos)) / total de ensaios realizados). A razão de verosimilhança positiva (RVP = Se/1-Esp), a razão de verosimilhança negativa (RVN = 1-Se/Esp). O software de apoio utilizado para cálculo da correlação e das rectas de regressão, foi o Statistica versão 5.5, 99.

Figura 1 – Resultados da experiência feita para avaliar o efeito da passagem do tempo sobre os resultados de uma mesma amostra, expressos em RLU. As amostra foram diluídas, sucessivamente em 4 diluições de base 10. São apresentadas na Tabela por debaixo do Gráco, os resultados da média dos dois ensaios realizados para cada diluição nos diferentes momentos. É perceptível a pouca interferência que o tempo tem na capacidade do método para detectar matéria orgânica.


74

Resultados

A Tabela 1, apresenta os resultados dos ensaios realizados para determinar o limites de positividade e de negatividade, expressos em RLU. No fundo da Tabela estão calculados, a média e o intervalo de conança respectivo, o desvio padrão e o número de ensaios realizados para cada passo. Cada passo representa um estado de limpeza progressivamente maior. Procedeu-se ao cálculo do limite de positividade e de negatividade do método a validar, tratando os resultados constantes da Tabela 1, primeiramente através do método ANOVA. Vericaram-se diferenças signicativas entre os passos 1 a 4 (PFc < 0,001). A comparação posterior dos passos dois a dois, através do teste t-Student, mostrou que asdiferenças entre os passos 1, 2 e 3 são signicativas (Ptα< 0,05) mas as diferenças entre os passos 3 e 4 não são signicativas entre si (Ptα> 0,05). Ficou assimestabelecido que os resultados obtidos nos passos 3 e 4

Tabela 1 – Determinação dos limites de positividade e de negatividade do método.

Nº da coluna (1) (2) (3) (4) (5) Local Visualmente Após limpeza Após 1ª limpeza Após 2ª limpeza Após lim-peza limpa com abrasivo com álcool com álcool com álcool Passo 1 Passo 2 Passo 3 Passo 4 Passos 3 e 4 Tampa 53 23 7 5 — Tampa 32 71 41 60 — Tampa 8 26 13 10 — Tampa 14 25 10 6 — Tampa 61 38 90 40 — Tampa 14 33 47 34 — Tampa 29 74 79 53 — Tampa 98 37 17 24 — Tampa 60 59 35 40 — Tampa 200 78 50 19 — Tampa 176 58 40 42 — Tampa 300 205 102 88 — Tampa 148 150 12 49 — Tampa 95 150 97 51 — Tampa 56 76 55 31 — Tampa 138 122 75 29 — Tampa 94 84 73 55 — Tampa 38 20 37 32 — Tampa 120 191 102 19 — Tampa 82 70 45 44 — Tampa 53 58 31 25 — Bancada 9 81 17 28 — Bancada 173 2 20 30 — Bancada 62 174 11 22 — Bancada 105 89 26 16 — Bancada 169 25 20 12 — Bancada 63 63 26 21 — Bancada 318 6 16 24 — Bancada 76 19 6 5 — Bancada 256 193 19 10 — Autoclave 81 32 13 9 — Autoclave 149 5 10 12 — Autoclave 37 9 8 8 — Média 102,0 71,1 37,9 28,9 33,4 Desvio Padrão 80,39 58,74 30,13 19,06 25,42 IC 95% 27,43 20,04 10,28 6,50 6,13

Nº ensaios 33 33 33 33 66

correspondem a superfícies totalmente limpas, uma vez que já não é possível reduzir de forma signicativa o valor dos resultados dos ensaios através de uma melhor limpeza das superfícies. Por isso, calculou-se o limite de positividade e o limite de negatividade do método a partir dos resultados dos ensaios dos passos 3 e 4 (n = 66). Partindo da média e desvio padrão dos resultados apresentados na coluna 5 da Tabela 1, o limite de negatividade, foi fixado em 85 RLU e o limite de positividade em 110 RLU.

Os resultados da experiência feita para determinar o limite de detecção e de quanticação do método, usando leite cru, constam da Tabela 2. Nesta, apresentam-se os resultados, em RLU, das amostras de leite A, B e C, testadas em duplicado. Para cada amostra há duas linhas de resultados relativos à duplicação de cada ensaio. Nas colunas da direita, sob a designação “Dados da amostra”, estão os valores das contagens de células somáticas (CCS) e de microrganismos totais (ufc/ml) de cada amostra. Sabendo que o teor do leite cru em células somáticas e microrganismos poderia interferir com os resultados desta experiência, testou-se o seu efeito através de ANOVA, tendo-se vericado que as diferenças não afectaram os resultados da experiência (PFc > 0,2) (Tabela 2). Compararam-se, seguidamente, os resultados de cada uma das diluições, dois a dois, utilizando o teste t-Student. Entre a diluição 0,2%, a solução de Ringer e os valores do branco não se encontraram diferenças signicativas. Compararam-se depois as diluições 2%, 1,3% e 1% com as anteriormente testadas, que serviram de referência negativa. As diferenças encontradas entre as diluições 2%, 1,3% e as referências negativas, foram signicativas (Ptα< 0,05) e a diferença entre a diluição 1% e as referências negativas foi signicativa com (Ptα< 0,1).

Tabela 2 – Determinação da sensibilidade do método para leite cru.

Amostra Diluições (% de leite na solução) Controlos Dados da amostra 100,0%10,0% 2,0% 1,3% 1,0% 0,2% Ringer Branco CCS UFC /mlLeite A (RLU) 844 301 102 77 47 8 21 30 852 29 1221 220 55 64 95 43 44 31 Leite B (RLU) 884 234 144 65 34 20 19 26 901 69,5 1164 225 100 58 20 25 29 22 Leite C (RLU) 1365 208 105 78 53 8 45 10 617 36,5 620 263 33 11 39 27 18 15 Média 1016,3 241,8 89,8 58,8 48,0 21,8 29,3 22,3 — —IC 95% 223,3 27,5 31,7 19,8 20,5 10,6 9,9 6,7 — —

Os resultados da experiência realizada para determinar o limite de detecção e de quantificação do método, usando microrganismos são apresentados na Tabela 3 descriminados para E. coli e Pseudomonas spp. Fizeram-se séries de 5 ensaios por diluição e um ensaio a branco no m de cada série. Cada série corresponde a uma linha da Tabela. Apresenta-se a média, o desvio padrão (DP), o coeciente de variação em percentagem (CV (%)) e o intervalo de conança da média (IC 95%)


75

de cada série. Sublinham-se os resultados cuja supressão reduziria o CV, na respectiva diluição, para valores inferiores a 10% e tornaria signicativas as diferenças da média dos resultados. Na coluna da direita encontra-se o valor médio de ufc contado nos 50µl de amostra de cada diluição ensaiada, expresso em log de ufc. Através de ANOVA pode-se comprovar que, existem diferenças significativas nos resultados, devidas à variação da concentração de ufc das estirpes usadas (PFc < 0,001). No caso da E. coli, existem diferenças signicativas (Ptα< 0,05) entre as diluições 10-1 e 10-2, que contêm 10 6,8 e 10 6,1 ufc, respectivamente. No caso da Pseudomonas spp, todas as diluições diferem entre si de forma signicativa (Ptα< 0,01). Verica-se que as diferenças se mantêm signicativas, em ambos os casos, mesmo quando a média dos valores RLU se encontra abaixo do

limite de negatividade calculado anteriormente.Calculou-se a equação de uma recta de regressão linear

com os dados da Tabela 2, onde a variável dependente foi o resultado dos ensaios, em RLU, expressos em função da diluição (variável independente). Vericou-se um excelente ajustamento quer da correlação, quer de R2 ajustado (Tabela 4). Esta equação foi, seguidamente, utilizada para estimar a diluição de leite em água que se obteria, para resultados nos valores limite atrás xados respectivamente 85 e 110 RLU, pela utilização do sistema systemSURE. As diluições de leite no limite de negatividade e no de positividade, obtidas por extrapolação, seriam de cerca de 2,5% e de 3,7% respectivamente. Partindo dos resultados atrás apresentados, julga-se poder xar o limite de positividade nos 110 RLU e o limite de negatividade nos 85 RLU.

Tabela 4 – Cálculo da capacidade de detecção esperada de leite cru diluído e de microrganismos do método em avaliação, por estimativa a partir de modelos de regressão linear.

Produto ensaiado Nº ensaios R R2 ajustado Modelo de regressão linear Detecção esperada (n=36); (n=25) (extrapolação) 85 RLU 110 RLULeite cru 36 0,93 0,87 log(rlu) = 0,66 log (dil) + 2,99 2,5% 3,7% E. coli 25; (20) 0,79; (0,57) 0,62; (0,29) log(rlu) = 0,26 log (cfu) - 0,40 10 8,9 10 9,4

Pseudomonas spp 25; (20) 0,93; (0,96) 0,85; (0,91) log(rlu) = 0,63 log (cfu) - 2,22 10 6,6 10 6,8

Modelos de regressão linear calculados a partir dos resultados das Tabelas 2 e 3, respectivamente para leite cru, E. coli e Pseudomonas spp. Estão descriminados o valor da correlação (R) e de R2 ajustado e o número de amostras utilizado para o cálculo de cada um. Entre parênteses estão os valores dos parâmetros, calculados com supressão dos resultados das suspensões mãe (SM) da Tabela 3. Nas colunas da direita indicam-se as concentrações estimadas de cada material testado, no limite de negatividade (85 RLU) e no limite de positividade (110 RLU), obtida por extrapolação dos modelos.

Tabela 3 – Resultados da experiência realizada para determinação da sensibilidade microbiológica do método.

Espécie Diluição Ensaio Média DP CV (%) IC 95% Log contagem (ufc/50 µl) 1 2 3 4 5 SM 109 88 97 107 99 100,0 8,4 8,4 7,39 7,84 10-1* 14 20 13 12 14 14,6 3,1 21,4 2,74 6,84 10-2 14 6 9 10 10 9,8 2,9 29,2 2,51 6,08 10-3 5 6 22 5 6 8,8 7,4 84,0 6,48 4,86 10-4 4 20 5 4 5 7,6 6,9 91,4 6,09 3,79 Branco 4 7 7 9 7 6,8 1,8 26,3 SM 4896 3955 4745 5083 4488 4633,4 437,3 9,4 383,31 8,55 10-1 168 163 168 146 136 156,2 14,5 9,3 12,68 7,49 10-2 39 34 35 49 68 45,0 14,2 31,5 12,41 6,69 10-3* 18 15 18 20 17 17,6 1,8 10,3 1,59 5,66 10-4 10 10 11 11 10 10,4 0,5 5,3 0,48 4,56 Branco 2 3 7 4 1 3,4 2,3 67,7

E. c

oli

Pseu

dom

onas

spp

Figura 2 – Precisão do método: reprodutibilidade sobre superfícies de aço inox, expressa em percentagem do coeciente de variação (CV%) (Gráfico 1); repetibilidade expressa em percentagem do coeficiente de variação (CV%), ensaiada em superfícies e directamente na couvette (Gráfico 2). Visto que repetibilidade dos resultados positivos é aceitável pensamos que este método pode ser utilizado em actividades de monitorização em planos HACCP.


76

Os resultados obtidos numa gama entre estes valores devem ser considerados duvidosos.

Testou-se um modelo de regressão linear simples para os resultados cada espécie onde log de ufc foi a variável independente e o log da resposta em RLU foi dependente. Primeiro testou-se o modelo incluindo a suspensão mãe e as quatro diluições e, depois, testou-se apenas com as quatro diluições, excluindo a suspensão mãe. Os resultados obtidos mostram que o modelo utilizado apenas descreve de forma aceitável a resposta do método no caso de Pseudomonas spp (Tabela 4). Verica-se neste caso que a correlação e o valor de R2 ajustado são superiores aos da E. coli. No caso desta, uma vez suprimidos os resultados da suspensão mãe, os valores da correlação e do R2 ajustado baixam de forma que o modelo de regressão linear já não explica os resultados. Com base na determinação do limite de negatividade das experiências anteriores pode-se estimar, por interpolação a partir do modelo de regressão linear, a quantidade de ufc prováveis para os valores de RLU no limite de negatividade e no limite de positividade (Tabela 4).

A avaliação da precisão do método, requer uma avaliação da sua repetibilidade e reprodutibilidade. Para avaliar a repetibilidade, utilizaram-se os resultados das Tabelas 2 e 3. Determinou-se, separadamente, a repetibilidade dos resultados positivo (≥110 RLU), duvidoso (≥85 e <110 RLU) e negativo (<85 RLU) e a repetibilidade global. O CV(%) médio da repetibilidade, sobe à medida que os valores resultados diminuem (Figura 2, Gráco 2), caso do CV(%) dos ensaios a branco e dos ensaios com resultado negativo. Isto acon-tece devido, ao peso que alguns resultados individuais, discrepantes (sublinhados na Tabela 3), têm sobre o desvio padrão. A repetibilidade média global e por tipo de resultados, do método, foi sempre pior no caso dos ensaios feitos sobre superfícies, o que se explica, em nossa opinião, por variações na quantidade de material da amostra recolhido pela zaragatoa ou devido a irregularidades no espalhamento desta, nas superfícies. Os resultados dos ensaios feitos directamente na cuvete, com microrganismos, apresentaram melhor repetibilidade. O CV(%) dos ensaios com resultados negativos, foi elevado nos ensaios com E. coli. O CV(%)

Tabela 5 - Variação dos parâmetros de exactidão do método e dos respectivos parâmetros.

Cut-Off VP VN Se IC Se Esp IC Esp RVP RVN Exactidão 20 26 27 0,87 0,11 0,41 0,59 1,47 0,33 0,55 30 24 37 0,80 0,13 0,56 0,44 1,82 0,36 0,64 40 21 46 0,70 0,15 0,70 0,30 2,31 0,43 0,70 50 19 53 0,63 0,16 0,80 0,20 3,22 0,46 0,75 60 17 58 0,57 0,16 0,88 0,12 4,68 0,49 0,78 70 17 58 0,57 0,16 0,88 0,12 4,68 0,49 0,78 80 17 61 0,57 0,16 0,92 0,08 7,48 0,47 0,81 90 17 63 0,57 0,16 0,95 0,05 12,47 0,45 0,83 100 15 64 0,50 0,16 0,97 0,03 16,50 0,52 0,82 110 13 66 0,43 0,16 1,00 0,00 nd 0,57 0,82 120 13 66 0,43 0,16 1,00 0,00 nd 0,57 0,82

Variação da Se e da Esp do método quando se fazem variar o valor do limite de negatividade (Cut-Off, em RLU, na coluna da esquerda) e os respectivos intervalos de conança a 95% (IC Se; IC Esp). Apresenta-se, também, a razão de verosimilhança positiva e a razão de verosimilhança negativa. A exactidão foi calculada para cada limite de negatividade. Nas colunas VP e VN, estão registados respectivamente o número de ensaios verdadeiro positivo e verdadeiro negativo, detectados pelo método quando se faz variar o valor do limite de negatividade. Total de amostras incluídas: verdadeiro positivas = 30, verdadeiro negativas 66.

Figura 3 – Curva de desempenho (Gráco 1) e curvas da RVP e da exactidão do método (Gráco 2). Gráco 1 – Curva de desempenho do método System Sure. Cada ponto da curva representa a razão entre a probabilidade de resultado verdadeiro positivo (Se) e a probabilidade de resultado falso positivo (1-Esp) para valores crescentes do limite de negatividade. A recta de tendência da curva está representada, com o respectivo R2. Gráco 2 – Crescimento dos valores da exactidão e da razão de verosimilhança positiva (RVP) do mesmo método à medida que se eleva o limite de negatividade. Cada valor do cut-off apresentado na Tabela 6 tem um ponto correspondente nas três curvas dos Grácos 1 e 2. Por exemplo: quando o valor do cut-off for de 100 RLU, ele corresponderá a valores de Se, Esp, RVP e de Exactidão, respectivamente de 0,5; 0,97; 16,5 e 0,82.


77

médio dos resultados nos ensaios com Pseudomonas spp é inferior a 10%, se excluirmos a diluição 10-2 onde ocorreu também um resultado anormal. Pensamos que, os resultados com valores anómalos, obtidos quando se utilizaram microrganismos, serão, em parte devidos a agregados de bactérias, que terão aumentado a quantidade de ufc, presentes nos ensaios cujos resultados estão sublinhados na Tabela 3.

Calculou-se a reprodutibilidade, a partir dos resultados das experiências realizadas com leite cru, ambas sobre superfícies, cujos resultados são apresentados na Tabela 1 e na Figura 1. Determinou-se separadamente a reprodutibilidade dos resultados positivo, duvidoso, negativo e a reprodutibilidade global do método (Figura 2, Gráco 1). O CV da reprodutibilidade média global em superfícies é semelhante para ambos protocolos, cerca de 40%. O CV da reprodutibilidade exclusivamente dos resultados positivos é melhor, cerca de 20% apenas.

Os critérios para a interpretação probabilística dos resultados de métodos quantitativos, necessitam da determinação prévia de alguns parâmetros que tornem possível o seu cálculo. Esses parâmetros são apresentados na Tabela 5.

A sensibilidade relativa (Se), foi calculada a partir dos resultados dos 30 ensaios realizados com leite cru diluído apresentados na Tabela 2. Sabendo-se que as referidas amostras contêm leite, os resultados negativos são considerados falso negativos. Incluíram-se as seguintes diluições: 100%, 10%, 2%, 1% e 0,2%. Tendo em consideração que 2% é o limite de negatividade, a exclusão das amostras diluídas a 1,3% permite manter a proporção de amostras positivas adequada ao cálculo da sensibilidade. À medida que se aumenta o limite de positividade a sensibilidade baixa. Por exemplo, se esse limite for xado nos 85 RLU, são consideradas positivas pelo método 57% das amostras com leite, mas se for fixado nos 110 RLU apenas 43% das amostras (contendo leite diluído) serão consideradas positivas. Para determinar a especificidade relativa (Esp), aproveitaram-se os resultados dos 66 ensaios que constam das colunas 3 e 4 da Tabela 1. Tomando como exemplo os limites utilizados anteriormente, verica-se que mais de 92% das superfícies são consideradas limpas se o valor limite aceite for 85 RLU e todas serão consideradas limpas se ele for de 110 RLU. Em síntese, à medida que o cut-off sobe, os valores da Se e da Esp

crescem em sentidos inversos. Para valores de 85 RLU, o limite de negatividade estabelecido, a Se é de 57% (± 16%) e a Esp é de 92% (± 10%). Para valores 110 RLU, o limite de positividade estabelecido, Se = 43% (± 16%) e Esp = 100% . A razão de verosimilhança positiva (RVP) e a razão de verosimilhança negativa (RVN), estão também calculadas na Tabela 5, para diferentes valores do limite de negatividade, compreendidos entre 20 e 120 RLU. A probabilidade de um resultado positivo no teste ser um resultado verdadeiro positivo, aumenta à medida que sobem as RVP e a RVN, o que acontece quando aumenta o limite de negatividade do teste. A curva de desempenho do método é dada pela fórmula: y = -0,4072x2 + 0,903x + 0,4752. Esta curva traduz a certeza dos resultados positivos do método, à medida que aumenta a intensidade da resposta em RLU.

Os resultados da experiência feita para avaliar o efeito da passagem do tempo sobre o limite de detecção do método, encontram-se na Figura 1. Esta experiência, permitiu evidenciar que, para cada diluição, os valores dos resultados dos ensaios, efectuados em momentos cada vez mais afastados do momento do espalhamento do leite, momento 0, não eram significativamente diferentes entre si. Passadas mais de 16 horas sobre a distribuição das amostras, vericou-se que os valores médios dos resultados dos ensaios, se mantiveram inalterados. A análise dos resultados, utilizando ANOVA, permite fundamentar a hipótese de que o factor tempo não interfere com os resultados (PFc<0,05). As diferenças, pelo teste t-Student, entre a média dos resultados de cada diluição, medidos em momentos diferentes revelou-se não signicativa a 95%.

Discussão

Procurou-se determinar os limites de negatividade e de positividade do método systemSURE, recorrendo à realização de três experiências diferentes, cujos resultados constam das Tabelas 1 a 3. Trataram-se os resultados através de duas abordagens metodológicas diferentes: uma clássica que consiste no tratamento dos resultados como variáveis contínuas e através da qual se pretende determinar o limite de detecção do método, assim como o seu limite de quanticação; a outra abordagem consiste no tratamento probabilístico dos resultados, após a sua transformação dicotómica em resultado positivo ou negativo o que requer a denição prévia de um valor limiar (o “cut-off” ou ponto de corte). Um dos nossos objectivos neste trabalho, era o de vericar se um dos valores, o do limite de positividade ou o do limite de negatividade, seria semelhante ao valor do cut-off, ou seja, se através de metodologias diferentes se poderia chegar valores semelhantes ou aproximados para estabelecer a diferença entre resultados positivos e negativos.

No caso do tratamento probabilístico dos resultados deve escolher-se, para valor do cut-off de um método, a

Tabela 6 - Efeito do tipo de superfície ensaiado sobre o valor do limite de negatividade e do limite de positividade do método.

Local Ensaios Média D. padrão IC Lim. Lim. (N.º) (a) (95%) Neg PosTampa camiões 42 43,19 (b) 26,89 8,13 87,8 126,6Bancada 18 18,28 (c) 7,32 3,38 30,4 41,0Autoclave 6 10 2,10 1,68 13,5 16,5

A Tabela 6 foi calculada com dados da Tabela 1, correspondendo às superfícies ensaiadas depois de limpas. (a) ANOVA - Diferença signica-tiva das três médias entre si, com PFC < 0,001; (b) t-Student - Diferenças signicativas entre as tampas os outros tipos de local. Pt < 0,001; (c) t-Student - Diferenças signicativas entre as bancadas e o autoclave. Pt < 0,001.


78

gama de resultados onde há maior exactidão. Vericou-se que a exactidão dos resultados sobe à medida que o cut-off escolhido se aproxima dos 80 RLU e que é máxima entre os 80 e os 90 RLU (Tabela 5). Este é, portanto, o valor ideal em superfícies de aço inox para que estas possam ser consideradas limpas. Uma outra forma de determinar o cut-off de um método é através do modelo de tendência da curva de desempenho do método (Response Operative Curve, Figura 3, Gráco 1). O cut-off localiza-se na zona de inexão da curva, onde a tangente é igual a 1 e pode ser obtido, resolvendo a equação em ordem a x e substituindo y por 1. Calculado desta forma, o limite de negatividade encontra-se próximo dos 80 RLU. Também a curva da RVP (Figura 3, Gráco 2) inecte de forma marcada a partir dos 70 RLU, signicando que, a partir desta zona, a certeza de resultados verdadeiro positivos cresce de forma marcada com a intensidade do resultado.

Vê-se que, a denição do valor do limite de negativi-dade através da primeira metodologia, 85 RLU, foi conrmada pela abordagem probabilística. Entendemos que este não é um exercício redundante porque confere solidez à denição dos valores limite dos resultados e proporciona alternativas práticas de interesse na interpretação dos mesmos e porque os parâmetros usados para o cálculo da exactidão do método, permitem as estratégias mais adequadas para a utilização do systemSURE na monitorização de planos HACCP. No cálculo da Se e da Esp, são tomadas em conta, simulta-neamente, todas as fontes de variação relacionadas com a exactidão e com precisão do método. Os parâmetros calculados a partir destes valores, tornam possível estabelecer planos de amostragem devidamente quanti-cados, adaptados à realidade de campo (Noordhuizen, et al., 1997).

Os resultados observados permitem verificar que limite de detecção do método, quando se trata de microrganismos, é inferior ao limite de negatividade proposto visto que ainda consegue diferenciar, de forma signicativa, entre concentrações de 105 e 106

Pseudomonas spp (Tabela 3). Não é possível, contudo, trabalhar na prática abaixo do limite de negatividade devido à falta de precisão do método (Figura 2). A falta de precisão do systemSURE abaixo dos 80 RLU, deverá resultar de interferências externas como podem ser o tipo de superfície, a temperatura dos reagentes e da amostra, a variabilidade na recolha de resíduos pela zaragatoa e, eventualmente, outras. A análise dos dados da Tabela 3 permite concluir que, poderão ser consideradas negativas superfícies onde as zaragatoas recolham até 105 ufc da área de amostragem.

A Tabela 4 permite analisar a linearidade da resposta. Constata-se que este método possui características que permitem considerá-lo semi-quantitativo: por um lado observa-se um aumento linear da intensidade da resposta quando há acréscimos na concentração de matéria orgânica ou de microrganismos na amostra; por outro, o método tem uma fraca sensibilidade que se traduz num

baixo declive, bastante inferior a 1, especialmente para a E. coli. A relativa falta de sensibilidade e uma precisão insuficiente, para as necessidades de quantificação não permitem, portanto, a sua utilização como método quantitativo mas não impedem a sua utilização como método qualitativo. Não impedem, também, que se faça uma aproximação à quanticação, através da utilização das razões de verosimilhança. A utilização destas, permite que a interpretação dos resultados se faça associando uma probabilidade ao resultado.

A precisão do método, segundo os nossos resultados em que se manteve constante o operador, varia entre os 20% e os 40%, quer para a repetibilidade, quer para a reprodutibilidade entre amostras. Os resultados obtidos noutros estudos (Griffth, 1994; Grifth 1997; Silliker, 1996) feitos com mais de 8 marcas diferentes de equipamentos no mercado e diversos substratos orgânicos apresentam valores para a precisão, expressos como CV(%), compreendidos entre os 23% e os 61%.

Analisámos já a maior parte das fontes de variação possíveis, destacando aqui as interferências provocadas pelas superfícies onde se trabalha ou a capacidade de absorção da zaragatoa. Pode-se verificar a sua importância pela análise do Gráfico 2 da Figura 1, onde se compara a repetibilidade dos ensaios com microrganismos, que se zeram directamente na cuvete com a repetibilidade de ensaios feitos em superfícies de aço inox. Irregularidade na distribuição da amostra sobre as superfícies de aço inox e a eventual existência de agregados de bactérias (E. coli) nas suspensões assim como a variabilidade entre a resposta de máquinas diferentes, pode também ser importante. Esta última fonte de variação dos resultados, é controlável com a calibração dos equipamentos. Silliker (1996) e Griffth et al. (1994) referem que os operadores são outra importante fonte de variação, que pode ser controlada através de programas de treino adequado. A melhor precisão, CV próximo dos 20%, consegue-se na zona de resultados positivos o que, é favorável, para o uso do método. A menor precisão encontrada na gama dos resultados negativos afecta de forma importante o limite de negatividade do método, que poderia ser bastante inferior (cerca de 40 RLU), se os valores do CV nesta gama de resposta fossem na casa dos 10%. Os valores propostos para o limite de negatividade, compensam pois, a falta de precisão constatada.

Vanstaen (1980) refere que o ATP se degrada rapida-mente, quer nas células quer fora delas, pressupondo-se que, poderá haver redução na resposta de ATP numa superfície suja com o passar do tempo (caso aconteça um desenvolvimento microbiano reduzido). Testou-se, por isso, o efeito da passagem do tempo sobre os resultados de amostras de leite espalhadas em superfícies de aço inox, no intuito de esclarecer ser haveria limitações de ordem prática, no momento de realização dos ensaios de monitorização, relativamente ao momento da lavagem dos camiões. Os nossos resultados (Gráco 1), mostram que o tempo não tem interferência signicativa sobre a


79

capacidade do método para fazer a detecção de ATP em superfícies, no caso do leite cru.

Uma análise detalhada da Tabela 1 mostra que os resultados obtidos nas diferentes superfícies limpas podem ser diferentes entre si. Testou-se a hipótese de que o tipo de acabamento da superfície, poderia inuenciar os resultados e, no caso vertente, quanto mais no este fosse, menor a interferência vericada - as superfícies do autoclave têm o polimento mais no e as tampas de camião têm o pior acabamento -. A Tabela 6, sintetiza os valores médios dos resultados por cada tipo de local e os resultados dos testes efectuados para avaliar o signicado estatístico dessas diferenças. Constata-se que há diferenças signicativas nos resultados dos ensaios feitos nos diferentes tipos de superfície. Colocou-se a questão, de saber se esta interferência alterava o cálculo do limite de negatividade e do limite de positividade próprio de cada superfície. Verificou-se que valores limite, calculados exclusivamente para as tampas dos camiões, foram pouco afectados (Tabela 6), devido sobretudo à sua predominância na população do ensaio (63%). Por isso não vimos motivo para modicar os valores dos limites propostos. Embora, no caso vertente, não seja necessário modificar esses valores, parece aconselhável que, sempre que novos tipos de superfícies são incluídas num plano HACCP, sejam conduzidos ensaios prévios, para avaliar o seu efeito sobre compor-tamento do método e as suas repercussões sobre o limite de negatividade.

Também deve ser tida em conta, a possível existência de interferências de restos de produtos da lavagem nos resultados. As substâncias químicas que provoquem alterações significativas do pH da solução reagente, desviando-o do pH óptimo ( 7,75) reduzem a intensidade da resposta ATP (Vanstaen, 1980). Podem apreciar-se na Tabela 1 alguns ensaios cujos resultados do primeiro passo são inferiores aos dos passos seguintes, provavel-mente devido a interferências de restos de solução de lavagem à base de Soda usada na lavagem dos camiões. A adição de quantidades conhecidas de Luciferina –Luciferase à solução de ensaio, após a leitura do resultado à solução permite quantificar este efeito (Vanstaen, 1980). A temperatura é outro factor que interfere na reacção, mas foi controlada a 22ºC nos nossos ensaios.

Os resultados apresentados na Tabela 2 mostram que é possível detectar leite diluído a 2% o que, em nossa opinião, confere ao método um suciente valor prático para este ser usado na monitorização da higiene em planos HACCP. É que, nesta gama de diluições, o leite não é detectável a olho nu.

Para que as superfícies sejam consideradas limpas, os limites críticos recomendados, situam-se entre 101 ou no máximo 103 ufc 100 cm2 (Bell et al., 1994) O limite inferior de quanticação do método depende da espécie mas é sempre superior a 103 ufc. Demonstrou-se que, dado o elevado limite de detecção para microrganismos, o método avaliado não pode ser usado para substituir a

bacteriologia convencional na vericação da higiene em superfícies em planos HACCP.

Partindo dos resultados apresentados e discutidos, é possível propor as estratégias para utilização do sistema avaliado. A monitorização de superfícies nos planos HACCP carece de respostas rápidas, qualitativas do tipo ‘pass / fail’ ou ‘limpo / sujo’. Elas devem ser dadas com base num limite de negatividade pré-denido mas pensamos que, periodicamente, este pode ser reavaliado e ajustado, se necessário, em função da proporção de resultados positivos que ocorrem no processo. Isto permite aumentar, de forma progressiva, os níveis de exigência, contribuindo para a melhoria contínua da higiene dos processos. A decisão sobre o limite a adoptar, em cada momento, deve ter em vista a maior exactidão possível, reduzindo, quer a ocorrência de resultados falso positivos quer a de resultados falso negativos. Embora a Se seja elevada para limites baixos, o que confere um bom valor predito ao resultado positivo, a Esp é baixa, gerando muitos resultados falso negativos, o que prejudica a exactidão do método. Por esta razão é preciso precaução na denição de limites de negatividade baixos, que podem induzir em erro por excesso de resultados falso negativos. Importa, em suma, ter presente a necessidade de manter, permanentemente, o melhor compromisso entre a Se e a Esp, através da selecção do melhor limite, para obter a máxima exactidão possível, na prática. A proporção esperada de resultados positivos (a taxa de superfícies sujas), é um factor determinante para a selecção do limite de negatividade.

Durante a realização de actividades de vericação ao plano HACCP ou em auditorias, faz sentido utilizar os resultados do método de uma forma semi-quantitativa. Uma vantagem desta utilização é o recurso às RVP e RVN que permitem fazer uma relação entre a intensidade da resposta e a probabilidade de o resultado ser positivo. Utilizando médias das razões de verosimilhança dos resultados é possível realizar estudos das tendências dos resultados, vericando se o nível médio da higiene das superfícies tende a melhorar ou não. A aplicação de métodos de controlo estatístico de processo é uma forma de potencializar os resultados obtidos através da utilização deste método e encontra-se mencionada por Hayes et al., 1997.

Um último parágrafo para mencionar a necessidade de treino dos operadores para efectuar os ensaios. É muito importante garantir a conança dos resultados através de treino adequado dos operadores e da sua reciclagem periódica. Os CV% encontrados nos resultados dos ensaios a branco e com soluto de Ringer evidenciam essa necessidade (Tabelas 2 e 3).

Bibliografia

ANÓNIMO (1997). Draft pr EN 275-061. Microbiology of Food and Animal Feeding Stuffs – Protocol for the Validation of Alternative Methods. MICROVAL, Validation for Microbiological Methods for Food and Drink in a European


80

Perspective. 12th meeting SCOM.ANÓNIMO (1998). Validation of Analitical Methods for Food

Control. Report of Joint FAO/IAEA Expert Consultation. FAO Food and Nutrition Paper 68. FAO, Roma.

BELL, C., STALLARD, P. A., BROWN, S. E., STANDLEY, J. T. E. (1994). ATP-Bioluminescence Techniques for Assessing the Hygienic Conditions of Milk Transport Tankers. International Dairy Journal, 4, 629-640.

CAC (1997). Hazard Analysis and Critical Control Point (HACCP) System and Guidelines for its Application. Supplement to Vol. 1B. Codex Alimentarius Commission. 2nd Ed.

GRIFFITH, J., BLUCHER, A., FLERI, J., FIELDING, L. (1994). An Evaluation of Luminometry as a Technique in Food Microbiology and a Comparison of Six Commercially Available Luminometers. Food Science and Technology Today, 8. 209-216.

GRIFFITH, J., DAVIDSON, C. A., PETERS, A. C., FIELDING, L. (1997). Towards a Strategic Cleaning Assessment Programme: Hygiene Monitoring and ATP Luminometry, an Options Appraisal. Food Science and Technology Today, 11. 15-24.

HAYES, G. D., SCALLAN, A. J., WONG, J. H. F. (1977). Applying Statistical Process Control to Monitor and Evaluate the Hazard Analysis Critical Control Point Hygiene Data. Food Control, 8. 173-176.


ILSI (1999). Report onValidation and Verification of HACCP. ILSI Europe Report Series. International Life Sciences Institute.

NORMA PORTUGUESA NP 1995 (1982). Microbiologia Alimentar. Regras gerais para contagem de microrganismos a 30ºC.

NORMA PORTUGUESA NP 2079 (1989). Microbiologia Alimentar. Regras gerais para análise microbiológica.

NOORDHUIZEN, J.P.T.M., FRANKENA, K., HOOFD, C.M., GRAAT, E.M.A. (1997). Principles and Methods of Sampling in Animal Disease Surveys. In Application of Quantitative Methods in Vetrinary Epidemiology. Wageningen Pers. Wageningen.

RELACRE (2000). Validação de Métodos Internos de Ensaio Em Análise Química. Guia Relacre 13. RELACRE.

SILLIKER (1996). The Role of Sensitivity and Reliability in Selecting an ATP Bioluminescence Plant Hygiene Monitoring System. Silliker Laboratories Group, Inc..

SMITH, R.D. (1995). Veterinary Clinical Epidemiology: A Problem Oriented Approach. 2nd Ed. CRC press, Inc.

STALLARD, P. (1995). ATP and Tanker Hygiene Assessment. Proceedings of the Lumac Dairy Seminar 1995. England.

VANSTAEN, H. (1980). Applicability of bioluminescence for rapid detection of viable micro-organisms. Laboratory

Practice, 29, 12.

validação interna de um método de ensaio baseado em atp para a

Documents