Publicación: Curvas de Aprendizaje en la Optimización Bayesiana de Hiperparámetros
Cargando...
Fecha
2021-09-01
Autores
Editor/a
Director/a
Tutor/a
Coordinador/a
Prologuista
Revisor/a
Ilustrador/a
Derechos de acceso
Atribución-NoComercial-SinDerivadas 4.0 Internacional
info:eu-repo/semantics/openAccess
info:eu-repo/semantics/openAccess
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial
Resumen
La optimización bayesiana (OB) es uno de los métodos más eficientes para la optimización de hiperparámetros (H) en los algoritmos de aprendizaje automático. Para evaluar el rendimiento de cada conguración de H, la OB utiliza la validación cruzada; lo que en entornos de grandes bases de datos supone un alto coste computacional. Para acelerar la OB en la literatura se han propuesto cuatro estrategias principales: (1) eliminación de combinaciones poco prometedoras, (2) terminación anticipada de evaluaciones innecesarias, (3) paralelización de los cálculos en diferentes unidades, (4) hacer uso de funciones de adquisición más eficientes. Las curvas de aprendizaje (CA) son funciones que enfrentan el número de datos con el que es entrenado un modelo al rendimiento que obtiene tras ser entrenado con dicha cantidad de datos. Poder predecir, partiendo de los puntos iniciales de la CA, el recorrido de la misma, permite estimar el rendimiento del modelo sin necesidad de entrenarlo con todos los datos disponibles. Por lo tanto, el uso de la predicción del rendimiento mediante CA, permitiría reducir el coste computacional de la OB al acelerar las evaluaciones de rendimiento. Y esto último es lo que intenta demostrar este trabajo. En la presente investigación se ha trabajado con problemas de clasicación binaria. Para ello, se han utilizado dos algoritmos de aprendizaje automático: el Support Vector Machine (SVM) y una red neuronal (RN) del tipo perceptrón multicapa. El objetivo final de la fase experimental de este trabajo, ha sido comparar el coste computacional requerido al realizar la OB midiendo el rendimiento con CA o con la validación cruzada. Con esto, se han obtenido resultados que muestran una reducción significativa en el tiempo de cómputo de la OB al usar la predicción por CA.
Descripción
Categorías UNESCO
Palabras clave
optimización de hiperparámetros, optimización Bayesiana, curvas de aprendizaje
Citación
Centro
Facultades y escuelas::E.T.S. de Ingeniería Informática
Departamento
Inteligencia Artificial