Ajuste Automático de Hiperparámetros mediante Algoritmos Genéticos para la Estimación de Esfuerzo

Abstract

Resumen. Estudios en el área de la estimación del esfuerzo del desarrollo de software han reportado el impacto del ajuste de hiperparámetros en los modelos basados en técnicas de aprendizaje automático. Múltiples algoritmos de ajuste han sido propuestos en la literatura con el objetivo de mejorar el desempeño de las estimaciones. En este estudio comparamos los algoritmos de ajuste de hiperparámetros Dodge, Grid, Harmony, Tabu y Random Search con el Genetic Standard, 1+1 y Compact para evaluar el impacto en la exactitud y la estabilidad de los modelos de estimación de esfuerzo. Realizamos la evaluación utilizando el conjunto de datos ISBSG R18 y ajustamos automáticamente los hiperparámetros de las técnicas Support Vector Regression, Classification and Regression Trees y Ridge Regression. Los resultados del análisis de Scott-Knott muestran que los algoritmos genéticos obtienen un desempeño superior o similar a los demás algoritmos de ajuste, incluyendo Grid Search. El ajuste de hiperparámetros alcanza un impacto de hasta un máximo de 0,21 en la exactitud estandarizada con valores finales de hasta 0,53. Los modelos de Support Vector Regression optimizados con algoritmos genéticos muestran la mayor exactitud y mejoran la estabilidad de las estimaciones con respecto a los demás algoritmos de ajuste.

Abstract. Research on software effort estimation has investigated the impact of hyper-parameter tuning approaches for machine learning. Many automated tuning approaches have been proposed in the literature to improve the performance of their base models. In this study we compare the Dodge, Grid, Harmony, Tabu, and Random Search algorithms against Standard Genetic, 1+1 Genetic, and Compact Genetic Algorithms in terms of their impact to model accuracy and stability. This evaluation was performed using the ISBSG R18 dataset and on the Support Vector Regression, Classification and Regression Trees, and Ridge Regression techniques. Results of the Scott-Knott analysis show that the genetic algorithms perform similar or better to the other tuners, achieving an improvement of standardized accuracy of up to 0,21 and final values of up to 0,53. Genetic algorithmtuned Support Vector Regression achieves the highest accuracy while improving estimation stability relative to other tuners.