Publicación:
Predicción de consumo de recursos para la ejecución de procesos

Cargando...
Miniatura
Fecha
2022-10-10
Editor/a
Tutor/a
Coordinador/a
Prologuista
Revisor/a
Ilustrador/a
Derechos de acceso
info:eu-repo/semantics/openAccess
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial
Proyectos de investigación
Unidades organizativas
Número de la revista
Resumen
La creación y consumo de datos a través de internet ha experimentado un incremento en los últimos años que implica que cada vez sea más necesario disponer de aplicaciones basadas en tecnologías Big Data que puedan tratar con esa información y obtener un valor de esos datos. Estas tecnologías generalmente funcionan de modo distribuido sobre plataformas empresariales que pueden alcanzar en algunos casos miles de máquinas de procesamiento. Dado que estas plataformas van a gestionar cada vez más volumen de datos, se hace necesario optimizar los recursos existentes en la infraestructura de modo que se continue dando servicio a la ejecución de esas aplicaciones de un modo más eficiente. Una opción podría ser planificar la ejecución de aplicaciones conociendo cuando se van a producir los mayores consumos de recursos por parte de estas. De modo que se pudiese adelantar o retrasar algunos trabajos planificados para que sus picos de consumo no coincidan en tiempo y finalicen incorrectamente por falta de recursos en el sistema. En este trabajo se analizará un conjunto de datos real extraído de una plataforma de procesamiento distribuido donde multitud de aplicaciones ejecutan sus tareas de modo paralelizado y concurrente. Posteriormente, los datos serán utilizados para crear modelos de aprendizaje automático mediante series temporales con la idea de predecir, para la próxima ejecución de una determinada aplicación, cuando se producirá su pico de consumo máximo y cuál será el valor de este.
Over the last years, creation and consumption of internet data has been increased. This makes necessary using Big Data technologies for managing these data and getting a value from them. Usually, these technologies work in distributed business environments that can amount to thousands of machines. As these platforms are expected to manage an increasing data volume, finding new ways for optimizing the available resources are needed, so they can continue providing support to those applications that must be executed in distributed environments. One possible solution could be scheduling the applications executions based on their peak resource consumptions. This way, several jobs could be delayed or forwarded so they cannot reach their consumption peaks at the same time and avoid evicting them due to the lack of available resources. This work will analyze a real distributed environment dataset where lots of applications are executed in a parallel way. Next, the dataset will be used for building time series machine learning models that will be able to forecast when will be the consumption peak and what is its value for the next execution of a certain application.
Descripción
Categorías UNESCO
Palabras clave
predicción de consumo de recursos, series temporales, Google Borg Cluster, Traces v3, aprendizaje automático, aprendizaje automático profundo, Jupyter Notebook, Python3, Scikit-Learn, Keras, TensorFlow
Citación
Centro
Facultades y escuelas::E.T.S. de Ingeniería Informática
Departamento
Inteligencia Artificial
Grupo de investigación
Grupo de innovación
Programa de doctorado
Cátedra
DOI