Fecha
2025-09-01
Derechos de acceso
info:eu-repo/semantics/openAccess
Título de la revista
ISSN de la revista
Título del volumen
Editorial
Resumen
This thesis tackles the challenge of hyperparameter optimization in Population-Based Metaheuristics (PMHs), with a particular focus on Differential Evolution (DE) and the Comprehensive Learning Particle Swarm Optimizer (CLPSO), a variant of the well-known Particle Swarm Optimization (PSO). PMHs often struggle to effectively explore large search spaces and, although the search for the solution is population-based, they can get trapped in local optima. A key difficulty lies in selecting an appropriate set of hyperparameters for each optimization problem, compounded by the fact that these parameters may need to be adapted dynamically based on the algorithm’s progress and the current state of the search. To address this, we propose a Reinforcement Learning (RL)-based framework in which the environment reflects the search state of the PMH, and actions correspond to dynamic hyperparameter adjustments. The study explores different methods for encoding the search state efficiently, investigates various types of RL agents used as controllers, and conducts a comparative analysis of existing reward functions in the literature. Based on this analysis, we propose a novel reward function that outperforms existing alternatives in guiding the RL agent during training. Furthermore, we examine the impact of adjusting the number of generations (or iterations in the case of CLPSO) affected by each hyperparameter update. Experiments conducted on a diverse set of benchmark problems demonstrate that the proposed RL-based controller significantly improves the effectiveness and robustness of population-based metaheuristics compared to conventional approaches. The method is designed to be hyperparameter-agnostic and applicable across different PMHs, and we also present a practical methodology to enable hyperparameter tuning at inference time, enhancing adaptability in real-world applications.
Esta tesis aborda el desafío de la optimización de hiperparámetros en metaheurísticas basadas en población (PMH, del inglés population-based metaheuristics), con un enfoque particular en evolución diferencial (DE, del inglés Differential Evolution) y optimizador de enjambre de partículas con aprendizaje integral (CLPSO, del inglés Comprehensive Learning Particle Swarm Optimizer), una variante del bien conocido optimizador de enjambres de partículas (PSO, del inglés Particle Swarm Optimizer). Las PMH suelen tener dificultades para explorar eficazmente espacios de búsqueda grandes y, a pesar de que la búsqueda de la solución está basada en población, pueden quedar atrapadas en óptimos locales. Uno de los principales retos consiste en seleccionar un conjunto adecuado de hiperparámetros para cada ejecución, agravado por el hecho de que dichos parámetros pueden necesitar adaptarse dinámicamente según el progreso del algoritmo y el estado actual de la búsqueda. Para abordar este problema, proponemos un marco basado en aprendizaje por refuerzo (RL, del inglés Reinforcement Learning), en el cual el entorno representa el estado de búsqueda de la PMH y las acciones corresponden a ajustes dinámicos de los hiperparámetros. El estudio explora distintos métodos para codificar eficientemente el estado de búsqueda, investiga varios tipos de agentes de RL utilizados como controladores y realiza un análisis comparativo de las funciones de recompensa existentes en la literatura. A partir de dicho análisis, se propone una nueva función de recompensa que supera a las alternativas existentes en la guía del agente RL durante el entrenamiento. Además, se examina el impacto de modificar el número de generaciones (o iteraciones en el caso de CLPSO) afectadas por cada ajuste de hiperparámetros. Los experimentos realizados sobre un conjunto diverso de problemas de benchmarking demuestran que el controlador propuesto basado en RL mejora significativamente la eficacia y la robustez de las PMH en comparación con enfoques convencionales. El método está diseñado para ser agnóstico al tipo de hiperparámetro y aplicable a diferentes PMH. Asimismo, se presenta una metodología práctica para permitir el ajuste de hiperparámetros en tiempo de inferencia, mejorando su adaptabilidad en aplicaciones reales.
Esta tesis aborda el desafío de la optimización de hiperparámetros en metaheurísticas basadas en población (PMH, del inglés population-based metaheuristics), con un enfoque particular en evolución diferencial (DE, del inglés Differential Evolution) y optimizador de enjambre de partículas con aprendizaje integral (CLPSO, del inglés Comprehensive Learning Particle Swarm Optimizer), una variante del bien conocido optimizador de enjambres de partículas (PSO, del inglés Particle Swarm Optimizer). Las PMH suelen tener dificultades para explorar eficazmente espacios de búsqueda grandes y, a pesar de que la búsqueda de la solución está basada en población, pueden quedar atrapadas en óptimos locales. Uno de los principales retos consiste en seleccionar un conjunto adecuado de hiperparámetros para cada ejecución, agravado por el hecho de que dichos parámetros pueden necesitar adaptarse dinámicamente según el progreso del algoritmo y el estado actual de la búsqueda. Para abordar este problema, proponemos un marco basado en aprendizaje por refuerzo (RL, del inglés Reinforcement Learning), en el cual el entorno representa el estado de búsqueda de la PMH y las acciones corresponden a ajustes dinámicos de los hiperparámetros. El estudio explora distintos métodos para codificar eficientemente el estado de búsqueda, investiga varios tipos de agentes de RL utilizados como controladores y realiza un análisis comparativo de las funciones de recompensa existentes en la literatura. A partir de dicho análisis, se propone una nueva función de recompensa que supera a las alternativas existentes en la guía del agente RL durante el entrenamiento. Además, se examina el impacto de modificar el número de generaciones (o iteraciones en el caso de CLPSO) afectadas por cada ajuste de hiperparámetros. Los experimentos realizados sobre un conjunto diverso de problemas de benchmarking demuestran que el controlador propuesto basado en RL mejora significativamente la eficacia y la robustez de las PMH en comparación con enfoques convencionales. El método está diseñado para ser agnóstico al tipo de hiperparámetro y aplicable a diferentes PMH. Asimismo, se presenta una metodología práctica para permitir el ajuste de hiperparámetros en tiempo de inferencia, mejorando su adaptabilidad en aplicaciones reales.
Descripción
Categorías UNESCO
Palabras clave
differential evolution, comprehensive learning particle swarm optimizer, population-based metaheuristics, evolutionary computation, hyperparameter tuning, reinforcement learning, Q-learning, reward function, observable variables, TRPO, A2C, DQN, DDPG, evolución diferencial, optimizador de enjambre de partículas con aprendizaje integral, algoritmos evolutivos, metaheurísticas poblacionales, ajuste de hiperparámetros, aprendizaje por refuerzo, Q-learning, función de recompensa, variables observables, TRPO, A2C, DQN, DDPG
Citación
Jiménez Gutiérrez, Mario. Trabajo Fin de Máster: Reinforcement Learning for Hyperparameter Control in population-based metaheuristics. Universidad Nacional de Educación a Distancia (España) 2025
Centro
E.T.S. de Ingeniería Informática
Departamento
Inteligencia Artificial



