Benchmarking AI-based Plasmid Annotation Tools for Antibiotic Resistance Genes Mining From Metagenome of the Virilla River, Costa Rica

Abstract

Bioinformatics and Artificial Intelligence (AI) stand as rapidly evolving tools that have facilitated the annotation of mobile genetic elements (MGEs), enabling the prediction of health risk factors in polluted environments, such as antibiotic resistance genes (ARGs). This study aims to assess the performance of four AI-based plasmid annotation tools (Plasflow, Platon, RFPlasmid, and PlasForest) by employing defined performance parameters for the identification of ARGs in the metagenome of one sediment sample obtained from the Virilla River, Costa Rica. We extracted and sequenced complete DNA from the sample, assembled the metagenome, and then performed the plasmid prediction with each bioinformatic tool, and the ARGs annotation using the Resistance Gene Identifier web portal. Sensitivity, specificity, precision, negative predictive value, accuracy, and F1-score were calculated for each ARGs prediction result of the evaluated plasmidomes. Notably, Platon emerged as the highest performer among the assessed tools, exhibiting exceptional scores. Conversely, Plasflow seems to face difficulties distinguishing between chromosomal and plasmid sequences, while PlasForest has encountered limitations when handling small contigs. RFPlasmid displayed diminished specificity and was outperformed by its taxon-dependent workflow. We recommend the adoption of Platon as the preferred bioinformatic tool for resistome investigations in the taxon-independent environmental metagenomic domain. Meanwhile, RFPlasmid presents a compelling choice for taxon-dependent prediction due to its exclusive incorporation of this approach. We expect that the results of this study serve as a guiding resource in selecting AI-based tools for accurately predicting the plasmidome and its associated genes.

La bioinformática y la Inteligencia Artificial (IA) se erigen como herramientas de rápida evolución que han facilitado la anotación de elementos genéticos móviles (MGEs), permitiendo la predicción de factores de riesgo para la salud en ambientes contaminados, como los genes de resistencia a antibióticos (ARGs). Este estudio pretende evaluar el rendimiento de cuatro herramientas de anotación de plásmidos basadas en IA (Plasflow, Platon, RFPlasmid y PlasForest) empleando parámetros de rendimiento definidos para la identificación de ARGs en el metagenoma de una muestra de sedimento obtenida del Río Virilla, Costa Rica. Extrajimos y secuenciamos el ADN completo de la muestra, ensamblamos el metagenoma, y luego realizamos la predicción de plásmidos con cada herramienta bioinformática, y la anotación de ARGs utilizando el portal web Resistance Gene Identifier. Se calcularon la sensibilidad, especificidad, precisión, valor predictivo negativo, exactitud y puntuación F1 para cada resultado de predicción de ARGs de los plasmidomas evaluados. En particular, Platon resultó ser la herramienta de mayor rendimiento entre las evaluadas, con puntuaciones excepcionales.Por el contrario, Plasflow parece tener dificultades para distinguir entre secuencias cromosómicas y plasmídicas, mientras que PlasForest ha encontrado limitaciones al manejar contigs pequeños. RFPlasmid mostró una especificidad disminuida y fue superado por su flujo de trabajo dependiente de taxones. Recomendamos la adopción de Platon como la herramienta bioinformática preferida para las investigaciones del resistoma en el ámbito de la metagenómica ambiental independiente de los taxones. Mientras tanto, RFPlasmid presenta una opción convincente para la predicción dependiente de taxones debido a su incorporación exclusiva de este enfoque. Esperamos que los resultados de este estudio sirvan de guía en la selección de herramientas basadas en IA para predecir con precisión el plasmidoma y sus genes asociados.