Arch. Med. Vet., Vol. XXXIV, N° 1, 2002, pp. 89-95
ARTICULOS ORIGINALES
Development and validation of an ELISA test for the diagnosis of bovine Leptospirosis
J. LOTTERSBERGER1, Bioq., Dr. Cs. Biol.; R. PAULI2, M V.; N. B. VANASCO 3, Bioq. M. Cs.
1 Facultad
de Bioquímica y Ciencias Biológicas, UNL, Santa Fe, Pedro Centeno
3340, (S3002BSD) Santa Fe, Argentina. E-mail: jlotters@fbcb.unl.edu.ar.
2 Laboratorio Alfa, Cañada de Gómez,
Argentina.
3 Instituto Nacional de Enfermedades Respiratorias
«E. Coni», Santa Fe, Argentina.
Leptospirosis is a worldwide
zoonotic disease that affects most domestic and wild animals as well as man.
In cattle, leptospirosis causes agalactiae, abortion and other reproductive
disorders. The diagnosis is based primarily on serology. The international reference
serologic test, the Microscopic Agglutination Test (MAT), is the most commonly
used.
An enzyme-linked inmunosorbent assay (ELISA)
for detecting IgG anti-Leptospira antibodies in bovine serum was developed
and validated with the MAT.
Sonicated antigen from cultures of serovar
hardjo (strain Hardjoprajitno) was used for the ELISA. Strains of 8 serovars
of Leptospira interrogans were used for the MAT. Serum samples from 535
bovine, 356 MAT positive and 179 MAT negative, were evaluated. At the optimal
cut-off point recommended by receiver operating characteristic (ROC) curve analysis,
the sensitivity and specificity values of the ELISA were 99.4% (95% CI= 98.0-99.9)
and 96.1% (95% CI= 92.1-98.4) respectively. Concordance between ELISA and MAT
measured by Kappa (k), was 0.96 (p< 0.001). The value for the area under
this ROC curve was 0.995 (CI 95% =0.984-0,999), indicating a high level of accuracy
for this ELISA. In comparison with serovar-specific assay this assay
could detect Leptospira-infection by using only one test, specially in
areas where the prevalent serovars are unknown. This assay has several advantages:
it uses non hazardous reagents, it is repeatable, it is scored objectively and
easy to perform in non specialized laboratories. In conclusion, this genus-specific
IgG ELISA may constitute a very useful tool for the diagnosis of leptospiral
infection in cattle.
Key words: ELISA, bovine leptospirosis, diagnosis.
La leptospirosis es una zoonosis de distribución mundial que afecta a los animales y al hombre. En el ganado bovino causa numerosas pérdidas económicas. El diagnóstico de laboratorio se basa generalmente en la serología. La técnica serológica de referencia internacional es la aglutinación microscópica (MAT). El objetivo de este trabajo fue desarrollar un ELISA para la determinación de anticuerpos específicos IgG anti-leptospiras en sueros bovinos y validarlo frente a la técnica de referencia (MAT). Los sueros fueron evaluados por MAT, utilizando 8 serovares de Leptospira interrogans. Para el ELISA, se utilizó como antígeno el extracto sonicado de un cultivo serovar hardjo (cepa Hardjoprajitno). Se evaluaron 535 sueros de bovinos, 356 MAT positivos y 179 MAT negativos. Al valor de corte óptimo recomendado por la curva ROC, la sensibilidad del ELISA frente a la MAT fue de 99.4% (IC 95%= 98.0-99.9) y la especificidad de 96.1% (IC 95%= 92.1-98.4), con un kappa de 0.96 (p<0.001). El valor de área bajo la curva ROC fue de 0.995 (IC 95%= 0.984 - 0.999), lo que indicó una alta confiabilidad del ELISA. En zonas donde se desconocen los serovares prevalentes o existen varios serovares circulantes, este ELISA presentaría la ventaja respecto de las técnicas serovar-específicos, ya que puede detectar infección mediante la aplicación de un solo ensayo, utilizando material no infectivo. Este ensayo es además repetitivo, de interpretación objetiva y simple de implementar en laboratorios no especializados. En conclusión, este ELISA IgG género específico desarrollado podría ser una alternativa útil para el diagnóstico de bovinos infectados con leptospiras.
Palabras claves: ELISA, leptospirosis bovina, diagnóstico.
La leptospirosis es una zoonosis de distribución mundial que afecta a los animales y al hombre causando desde formas inaparentes hasta casos fatales. La enfermedad es producida por espiroquetas del género Leptospira. En el ganado bovino causa pérdidas económicas fundamentalmente por abortos, infertilidad, pérdida de la lactancia, mastitis y nacimiento de crías prematuras o débiles (Bercovich y col., 1990). Se han aislado de bovinos al menos 13 serovares, siendo los predominantes hardjo y pomona, aunque el riesgo de infección humana proveniente de bovinos se asocia generalmente con el serovar hardjo (Levett, 2001; Surujballi y Mallory, 2001; Turner, 1968; Zamora y col., 1991).
Si bien el diagnóstico de laboratorio puede realizarse mediante el aislamiento del organismo causal, éste se basa generalmente en la detección de anticuerpos específicos por medio de pruebas serológicas. El aislamiento del organismo infectante es la mejor manera de establecer el diagnóstico definitivo, pero la obtención de cultivos positivos puede demorar más de 12 semanas y algunos serovares (ej. hardjo) son extremadamente difíciles de aislar (Cousins y col., 1985; Faine, 1982). La técnica de referencia internacional para la detección de anticuerpos específicos anti-leptospiras es la aglutinación microscópica con antígenos vivos, conocida por su sigla en inglés MAT (Microscopic Aglutination Test) (OIE, 1996; Turner, 1968). Sin embargo esta técnica presenta numerosas desventajas: requiere de la utilización de varios serovares de leptospiras en fase exponencial de crecimiento (cultivos de 4 a 14 días), lo que causa problemas en la estandarización y constituye un riesgo para el personal, además requiere de un operario altamente capacitado para la interpretación de los resultados (Bolin y col., 1989; Cousins y col., 1985; Thiermann, 1983a). Debido a esto, en Argentina existen muy pocos laboratorios en condiciones de realizar la MAT, y en su mayoría están ubicados en la provincia de Buenos Aires, lo que dificulta el acceso al diagnóstico de leptospirosis bovina en otras regiones del país.
El enzimoinmunoensayo en fase sólida (ELISA) es una técnica sencilla, reproducible, de interpretación objetiva que permite procesar una gran cantidad de muestras en poco tiempo (Adler y Faine, 1983; Adler y col., 1980; Faine, 1982; OIE, 1996; Thiermann, 1983b), lo que facilita su implementación en laboratorios de menor complejidad.
El objetivo de este trabajo fue desarrollar un ELISA para la determinación de anticuerpos específicos IgG anti-leptospiras en sueros bovinos y validarlo frente a la técnica serológica de referencia (MAT).
Muestras. Se evaluaron 535 muestras de bovinos provenientes de establecimientos ganaderos de las provincias de Santa Fe y Entre Ríos (Argentina). Se empleó un muestreo no aleatorio donde se seleccionaron rodeos de establecimientos con alto porcentaje de
positividad de anticuerpos anti-Leptospira y establecimientos con bajo porcentaje de positividad de anticuerpos anti-Leptospira. Las muestras de sangre se obtuvieron asépticamente y se enviaron refrigeradas al laboratorio. Los sueros fueron fraccionados y conservados a -20°C hasta su evaluación por MAT y ELISA.
Técnica de Aglutinación Microscópica (MAT). Las muestras de sueros bovinos fueron evaluadas por MAT utilizando 8 serovares de Leptospira interrogans: castellonis Castellòn 3; canicola Hond Utrecht IV; grippotyphosa Moskva V; copenhageni M20; pomona Pomona; tarassovi Perepelicin; wolffi 3705 y hardjo Hardjoprajitno. Los cultivos de 7-10 días fueron desarrollados en medio líquido suplementado de Ellinghausen, McCullough, Johnson, Harris (EMJH) (Difco Laboratories) de acuerdo a lo descrito por Faine (1982). El título de corte considerado fue 1:200 (AAVLD, 1994), habiéndose titulado las muestras positivas hasta una dilución de 1:6400.
Enzimoinmunoensayos (ELISA). Se utilizó como antígeno un extracto de serovar hardjo, el que se obtuvo de un cultivo en medio EMJH de 7-14 días de desarrollo (Adler y col., 1980). El cultivo se centrifugó 20 minutos a 10.000g, se lavó con buffer fosfato salino pH 7.2 y sonicó 2 veces por 2 minutos. Se determinó la cantidad de proteínas del extracto por el método de reactivo cúprico (Proti-2, Wiener Lab., Argentina).
El antígeno fue inmovilizado por adsorción sobre policubetas de poliestireno de 96 pocillos (Costar, USA, cat. #2592), utilizando una solución de buffer de carbonato y bicarbonato de sodio 0.1M pH 9.6. Se incubaron 100 µl/pocillo de la disolución (concentración de proteínas totales 10mg/ml) toda la noche a 4°C. Luego de la incubación, las placas se lavaron dos veces con buffer de lavado (PBS con 0.05% de Tween 20, pH 7.2) y dos veces con agua destilada. Luego se secaron y conservaron selladas en bolsas plásticas con desecadores a 4°C hasta su utilización.
Las muestras se diluyeron al 1:101 en buffer proteico (PBS con 1% de caseína (Sigma, USA)) y 100 µl de esa dilución se incubaron por duplicado 30 minutos a 37°C. Luego de la incubación, se lavó 5 veces con buffer de lavado. El conjugado utilizado (Anti-IgG bovina-peroxidasa (Jackson Immuno Res., USA) se diluyó 1:10000 con una solución proteica y se incubaron 50µl de esa dilución en todos los pocillos por 30 minutos a 37°C. Luego de la incubación se repitió el paso de lavado. El revelado de la reacción se realizó con 100µl de 3.3', 5.5' tetrametilbenzidina (TMB) listo para usar incubando 15 minutos a 37°C. La reacción se detuvo con 100µl de ácido sulfúrico 2N y se midió la absorbancia a 450/630 nm en lector para microplacas de ELISA (DiaMedix BP96, USA) (American Society for Microbiology, 1986; Tijsen, 1985).
En cada placa ensayada se procesó por cuadruplicado una mezcla de 50 sueros MAT negativos (control negativo, CN) y una mezcla de 50 sueros MAT positivos (control positivo, CP). Para la determinación del límite entre negativo/positivo (título de corte) se procesaron todas las muestras a doble ciego y por duplicado y se obtuvo la densidad óptica (DO) promedio para cada muestra. Los resultados se expresaron como densidad óptica corregida (REL) en función de la mezcla de sueros control negativos de acuerdo a la siguiente fórmula: REL= DO promedio de la muestra analizada/ DO mezcla de sueros control negativos.
Estudio estadístico. Los resultados del ELISA (REL) fueron analizados en relación a la MAT mediante el trazado de la curva conocida por su sigla en inglés como ROC (Receiver Operating Characteristic), la cual determina la sensibilidad y la especificidad relativas de la prueba para los distintos valores de corte seleccionando el que confiere el mayor rendimiento (Schoojans y col., 1995; Zweig y Campbell, 1993). Para el trazado de la curva ROC y el diagrama interactivo de puntos, se utilizó el programa MedCalc (Schoojans y col., 1995). Se calcularon los coeficientes de variación estándar y la concordancia entre el ELISA y la MAT fue determinada mediante el índice Kappa (k) (Altman, 1991).
Se evaluaron varios serovares de leptospiras para ser utilizados como antígenos en el ELISA, priorizando los de mayores antecedentes de infección bovina en Argentina. Los cultivos de las siguientes cepas de referencia: Pomona (pomona), Perepelicin (tarassovi), Salinem (pyrogenes) y Hardjoprajitno (hardjo) fueron procesados de acuerdo a la metodología descrita y cada uno de los extractos sonicados obtenidos se utilizaron para la preparación de superficies de inmunocaptura. También se preparó una mezcla con los cuatro antígenos y otra con los extractos de los serovares de las cepas de tarassovi y pyrogenes (previamente utilizada como antígeno en un ELISA para roedores) (Vanasco y col., 2001). Los seis extractos fueron evaluados en paralelo frente a un panel de 20 sueros MAT positivos y 20 sueros MAT negativos, encontrándose que el ensayo en el que se utilizó la cepa del serovar hardjo mostró la mejor capacidad de diferenciación entre sueros positivos y negativos. En los ensayos donde se utilizaron los demás antígenos, en forma individual y en las dos mezclas, se observó una mayor señal de base y menor diferencia de absorbancia entre los valores positivos y negativos respecto de la cepa del serovar hardjo; por ello se seleccionó esta cepa como antígeno para el ELISA.
Se estudiaron 535 muestras, 356 de las cuales fueron MAT positivas y 179 MAT negativas. De las 356 muestras MAT positivas estudiadas, 354 fueron reactivas y 2 no reactivas para el ELISA. De las 179 muestras MAT negativas, 172 fueron no reactivas y 7 reactivas para el ELISA. El valor de corte determinado para el estudio fue REL= 4.2; el área bajo la curva ROC fue de 0.995 (IC 95% = 0.984 - 0.999). La sensibilidad del ELISA frente a la MAT fue del 99.4% (IC 95% = 98.0-99.9) y la especificidad del 96.1% (IC 95%= 92.1-98.4). El valor de REL promedio de los sueros no reactivos fue de 1.52, con una desviación estándar de 0.89; el valor de REL promedio para los sueros reactivas fue de 11.45, con una desviación estándar de 5.77. El coeficiente de correlación Kappa fue de 0.96 (p< 0.001); lo que muestra muy buena correlación del ELISA con la técnica de referencia MAT.
En la figura 1 se puede observar la curva ROC del ELISA en relación a la MAT. En la figura 2 se observa el diagrama interactivo de puntos del ELISA vs. la MAT, el título de corte y los valores de sensibilidad y especificidad obtenidos para ese título de corte.
En la tabla 1 se observan los serovares reaccionantes por MAT y la reactividad del ELISA en las 356 muestras bovinas MAT positivas.
En Argentina, el diagnóstico serológico de leptospirosis bovina se realiza exclusivamente mediante la técnica de aglutinación microscópica. Esta técnica presenta varias desventajas que restringen su uso a muy pocos laboratorios de referencia. La utilización del ELISA permitiría una mayor accesibilidad al diagnóstico en todo el país y facilitaría la realización, interpretación e implementación en
laboratorios de menor complejidad, así como el procesamiento de un alto número de muestras en un corto tiempo.
El enzimoinmunoensayo desarrollado y evaluado en las condiciones de este estudio mostró una alta sensibilidad (99.4%) y especificidad (96.1%) y una muy buena concordancia (k= 0,96) con la técnica serológica de referencia (MAT).
| FIGURA 1.
Curva ROC ELISA vs. MAT. ROC Curve ELISA vs. MAT. |
| FIGURA 2.
Diagrama interactivo de puntos ELISA vs. MAT. Interactive dot diagram ELISA vs. MAT. |
|
|
MAT positiva N° % |
ELISA positivo N° % |
ELISA negativo N° % |
| Ballum/castellonis |
1
0.28 |
1 0.28 |
0 0 |
| Sejroe |
|
|
(0) (0) (2) (0.57) 2 0.57 |
| Sin clasificar (coaglutinación)2 |
9 2.52 |
9 2.52 |
0 0 |
|
|
356 100 |
354 99.43 |
2 0.57 |
1. Serogrupo-serovar reaccionante es aquel que mostró el mayor título de anticuerpos.
2. Se detectaron iguales títulos a 2 o más serovares.
El antígeno preparado con la cepa del serovar hardjo mostró la mejor reactividad, por lo que fue seleccionado como antígeno para el ELISA. Este serovar es el más frecuentemente encontrado en bovinos en diferentes regiones del mundo (Levett, 2001; Zamora y col., 1991). Nuestros resultados coinciden con trabajos previos en los que se utilizó el serovar hardjo como antígeno para ensayos ELISA (Badudieri, 1958; Bughio y col., 1999).
La MAT es una técnica serogrupo específica (Levett, 2001). La cepa recomendada para detectar anticuerpos frente a serovares del serogrupo sejroe en Argentina es wolffi 3705. En este estudio la mayor reactividad de la MAT (89.3%) correspondió a los dos serovares de este serogrupo lo cual, en coincidencia con lo observado en otros países del mundo, indicaría una mayoría de bovinos infectados con algún serovar del serogrupo sejroe. Dentro del mismo serogrupo la mayor reactividad obtenida frente al serovar hardjo indicaría una posible infección de los bovinos estudiados con este serovar. Por otra parte, la positividad obtenida exclusivamente frente al serovar hardjo (8.2% por MAT y 7.6% por ELISA) indican que de no haberse empleado éste serovar como antígeno hubiesen sido falsamente clasificados como negativos. Desafortunadamente en Argentina los antecedentes de aislamientos en bovinos corresponden en su mayoría al serovar pomona y existe sólo un antecedente de aislamiento de hardjo (AAVLD, 1994). Los hallazgos obtenidos en este trabajo deberían motivar estudios más profundos tendientes a la revisión de los serovares empleados de rutina para el diagnóstico de leptospirosis bovina por MAT.
A pesar de haber usado el serovar hardjo como antígeno, el ELISA desarrollado reaccionó con anticuerpos específicos frente a los serovares ballum, pomona, tarassovi y wolffi; lo cual indicaría que los anticuerpos detectados son géneros específicos. Esto concuerda con las observaciones realizadas por otros autores quienes describieron que utilizando antígenos sonicados en el ELISA era posible detectar anticuerpos contra antígenos serovar, serogrupos o género específicos de leptospiras (Adler y Faine, 1983; Bughio y col., 1999; Fairbrother, 1984; Vanasco y col., en prensa). En zonas donde se desconocen los serovares prevalentes o existen varios serovares circulantes, este ELISA (género específico) presentaría la ventaja, respecto de los serovar-específicos, de detectar infección mediante la aplicación de un solo ensayo.
De las 365 muestras MAT positivas, sólo 2 muestras fueron no reactivas al ELISA. Si bien no se puede descartar que sean falsos negativos del ELISA, estas dos muestras tuvieron valores de REL cercanos al título de corte (4.1 y 3.4 respectivamente) y en ambos casos la MAT resultó reactiva solamente frente al serovar hardjo con un título 1/200, lo que podría deberse a una infección reciente con anticuerpos principalmente de tipo IgM. Esta hipótesis no pudo ser probada por no contarse con una segunda muestra del mismo animal y a que como en este trabajo se utilizaron muestras de animales infectados naturalmente no es posible conocer el estadio de la infección.
Las 7 muestras MAT negativas que resultaron reactivas al ELISA podrían constituir falsos positivos de esta técnica por detección de anticuerpos inespecíficos, o bien, deberse a una mayor sensibilidad de esta técnica respecto de la MAT, tal como ha sido previamente descrito (Vanasco y col., 2001). Refuerza esta idea el hecho de que las 7 muestras MAT negativas pertenecían a animales de rodeos con una alta proporción de positividad, por lo que estarían expuestos a un alto riesgo de infección.
La ubicación de la mayoría de los sueros negativos en un valor de REL significativamente menor al título de corte y de los positivos en un valor significativamente superior al mismo, indica una buena capacidad de este ELISA para discriminar sueros positivos de negativos.
Este estudio muestra que el ELISA IgG desarrollado podría ser una alternativa útil para el diagnóstico de bovinos infectados con leptospiras, por ser altamente sensible, específico, de fácil realización, interpretación e implementación en laboratorios no especializados. La utilización de esta técnica posibilitaría el acceso al diagnóstico en todas las regiones del país, al permitir su implementación en laboratorios de menor complejidad.
ADLER, B., S. MURPHY, S. LOCARDINI, S. FAINE. 1980. Detection of specific anti-leptospiral immunoglobulins M and G in human serum by solid-phase Enzyme-Linked Immunosorbent Assay. J. Clin. Microbiol. 11: 452-457.
ADLER, B., S. FAINE. 1983. Species and genus-specific antigens in leptospira, revelled by monoclonal antibodies and enzyme immunoassay. Zbl. Bakt. Hyg. 255: 317-322.
ALTMAN, D. G. 1991. Statistics in medical journals: developments in the 1980s. STAT Med. 10: 1897-1913.
AMERICAN SOCIETY FOR MICROBIOLOGY. 1986. Manual of Clinical Laboratory Immunology. Third Edition. Editors: Noel R. Rose, Herman Friedman, John L. Fahey. Washington DC.
AAVLD. ASOCIACION ARGENTINA DE VETERINARIOS DE LABORATORIOS DE DIAGNÓSTICO. 1994. Manual de Leptospirosis. Comisión científica permanente sobre leptospirosis. Eds. AAVLD. Buenos Aires. pp. 55.
BADUDIERI, B. 1958. Animal reservoirs of leptospires. Ann. N. Y. Acad. Sci. 70: 393-413.
BERCOVICH, Z., R. TAAIJKE, B. A. BOKHOUT. 1990. Evaluation of an ELISA for the diagnosis of experimentally induced and naturally occurring Leptospira hardjo infections in cattle. Vet. Microbiol. 21: 255-262.
BOLIN,C.A., R.L.ZUERNER, G.TRUEBA. 1989. Comparison of three techniques to detect Leptospira interrrogans serovar hardjo type hardjo-bovis in bovine urine. Am. J. Vet. Res. 50: 1001-1003.
BUGHIO, N., M. LIN, O. SURUJBALLI. 1999. Use of Recombinant Flagellin Protein as a Tracer Antigen in a Fluorescence Polarization Assay for Diagnosis of Leptospirosis. Clin. Diag. Lab. Immunol. 6: 599_605.
COUSINS, D. V., G. M. ROBERTSON, L. HUSTAS. 1985. The use of the enzyme-linked inmunosorbent assay (ELISA) to detect the IgM antibody response to Leptospira interrogans serovars hardjo, pomona and tarassovi in cattle. Vet. Microbiol. 10: 439-450.
FAINE, S. 1982. Guidelines for the control of leptospirosis. World Health Organization (WHO) offset Publication 67, Geneva, Italy, pp 27-29, 67-83.
FAIRBROTHER, J. M. 1984. Serological interrelationship of leptospira serovar and genus-specific antigens by Enzyme-Linked Immunosorbent Assay. J. Clin. Microbiol. 20: 1089-1093.
LEVETT, P. 2001. Leptospirosis. Clin. Microbiol. Reviews 14: 296-326.
OIE. 1996. OFICINA INTERNACIONAL DE EPIZOOTIAS. Manual of standards. 3rd ed. United States Department of Agriculture (USDA), National Veterinary Services Laboratory (NVSL), 1800 Dayton Road, Ames, Iowa 50010, USA.
SCHOOJANS, F., A.ZALATA, C. E.DEPUYDT, F. H. COMHAIRE. 1995. Med-Calc: a new computer program for medical statistics. Computer Methods and Programs in Biomedicine. 48: 257-262.
SURUJBALLI,O., M.MALLORY. 2001. Competitive Enzyme-Linked Immunosorbent Assay for Detection of Leptospira interrogans Serovar pomona Antibodies in Bovine Sera. Clin. Diag. Lab. Immunol. 8: 40-43.
THIERMANN, A. B. 1983a. Bovine leptospirosis: Bacteriology versus serologic diagnosis of cows at slaughter. Am. J. Vet. Res. 44: 2244-2245.
THIERMANN,A.B. 1983b. Detection of the Enzyme-Linked immunosorbent Assay (ELISA) as a new method for serological diagnosis of bovine leptospirosis. Int. Sym. Vet. Lab. Diag. 3: 97-103.
TIJSEN, P. 1985. Practice and Theory of Enzyme Immunoassays. En: Cap 15. Processing of Data and Reporting of Results of Enzyme Immunoassays. Series: Laboratory Techniques in Biochemistry and Molecular Biology - Vol 15. General Editors: R.H. Burdon And P. H. Van Knippenberg. Elservier Sci. Pub. B.V. Amsterdam, The Netherlands. pp. 385-421
TURNER, L. H. 1968. Leptospirosis II: Serology. Trans R. Trop. Med. Hyg. 62: 880-899.
VANASCO, N. B., J. LOTTERSBERGER, M. D. SEQUEIRA, H. TARABLA. 2001. Development and validation of an ELISA for the detection of leptospire-specific antibodies in rodents. Vet. Microbiol. 82: 321-330.
VANASCO, N. B., S.FUSCO, J. C. ZANUTTINI, M. L. DALLA FONTANA, S. MANATTINI, J. PÉREZ, D. CERRANO, M. D. SEQUEIRA. Leptospirosis humana: aumento en la detección de casos luego de una inundación (Santa Fe-Argentina). Infectol. y Microbiol. Clin. 13: En prensa.
ZAMORA, J., S. RIEDEMANN, M. I. MONTECINOS, X. CABEZAS, X. 1991. Aislamiento en Chile de Leptospira interrogans serovares hardjo y kennewicki en bovinos aparentemente sanos. Arch. Med. Vet. XXIII, 131-134.
ZWEIG, M. H., G. CAMPBELL. 1993. Receiver-Operating Characteristics (ROC) plots: A fundamental evaluation tool in clinical medicine. Clin. Chem. 39: 561-577.
Aceptado: 20.12.2001.