Reliability of a Visual Scoring System with Fluorescent Tracers to Assess Dermal Pesticide Exposure

Abstract

We modified Fenske's semi-quantitative ‘visual scoring system’ of fluorescent tracer deposited on the skin of pesticide applicators and evaluated its reproducibility in the Nicaraguan setting. The body surface of 33 farmers, divided into 31 segments, was videotaped in the field after spraying with a pesticide solution containing a fluorescent tracer. A portable UV lamp was used for illumination in a foldaway dark room. The videos of five farmers were randomly selected. The scoring was based on a matrix with extension of fluorescent patterns (scale 0–5) on the ordinate and intensity (scale 0–5) on the abscissa, with the product of these two ranks as the final score for each body segment (0–25). Five medical students rated and evaluated the quality of 155 video images having undergone 4 h of training. Cronbach alpha coefficients and two-way random effects intraclass correlation coefficients (ICC) with absolute agreement were computed to assess inter-rater reliability. Consistency was high (Cronbach alpha = 0.96), but the scores differed substantially between raters. The overall ICC was satisfactory [0.75; 95% confidence interval (CI) = 0.62–0.83], but it was lower for intensity (0.54; 95% CI = 0.40–0.66) and higher for extension (0.80; 95% CI = 0.71–0.86). ICCs were lowest for images with low scores and evaluated as low quality, and highest for images with high scores and high quality. Inter-rater reliability coefficients indicate repeatability of the scoring system. However, field conditions for recording fluorescence should be improved to achieve higher quality images, and training should emphasize a better mechanism for the reading of body areas with low contamination.Modificamos el sistema de puntuación visual semicuantitativo de Fenske para el trazador fluorescente depositado en la piel de aplicadores de plaguicidas y evaluamos su reproducibilidad en Nicaragua. Se grabó en vídeo la superficie corporal de 33 agricultores, dividida en 31 segmentos, en el campo tras la aplicación de una solución plaguicida con trazador fluorescente. Se utilizó una lámpara UV portátil para la iluminación en una cámara oscura plegable. Se seleccionaron aleatoriamente los vídeos de cinco agricultores. La puntuación se basó en una matriz con la extensión de los patrones fluorescentes (escala 0-5) en el eje de ordenadas y la intensidad (escala 0-5) en el eje de abscisas, cuyo producto constituyó la puntuación final para cada segmento corporal (0-25). Cinco estudiantes de medicina calificaron y evaluaron la calidad de 155 imágenes de vídeo tras recibir 4 horas de formación. Se calcularon los coeficientes alfa de Cronbach y los coeficientes de correlación intraclase (CCI) de efectos aleatorios bidireccionales con concordancia absoluta para evaluar la fiabilidad interevaluador. La consistencia fue alta (alfa de Cronbach = 0,96), pero las puntuaciones difirieron sustancialmente entre los evaluadores. El CCI global fue satisfactorio [0,75; intervalo de confianza (IC) del 95 % = 0,62–0,83], pero fue menor para la intensidad (0,54; IC del 95 % = 0,40–0,66) y mayor para la extensión (0,80; IC del 95 % = 0,71–0,86). Los CCI fueron más bajos para las imágenes con puntuaciones bajas y evaluadas como de baja calidad, y más altos para las imágenes con puntuaciones altas y alta calidad. Los coeficientes de fiabilidad interevaluador indican la repetibilidad del sistema de puntuación. Sin embargo, las condiciones de campo para el registro de fluorescencia deben mejorarse para obtener imágenes de mayor calidad, y la capacitación debe enfatizar un mejor mecanismo para la lectura de áreas corporales con baja contaminación.