Predicción de consumo de recursos para la ejecución de procesos

García Hernández, Antonio. (2022). Predicción de consumo de recursos para la ejecución de procesos Master Thesis, Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial

Ficheros (Some files may be inaccessible until you login with your e-spacio credentials)
Nombre Descripción Tipo MIME Size
GarciaHernandez_Antonio_TFM.pdf GarciaHernandez_Antonio_TFM.pdf application/pdf 2.94MB

Título Predicción de consumo de recursos para la ejecución de procesos
Autor(es) García Hernández, Antonio
Resumen La creación y consumo de datos a través de internet ha experimentado un incremento en los últimos años que implica que cada vez sea más necesario disponer de aplicaciones basadas en tecnologías Big Data que puedan tratar con esa información y obtener un valor de esos datos. Estas tecnologías generalmente funcionan de modo distribuido sobre plataformas empresariales que pueden alcanzar en algunos casos miles de máquinas de procesamiento. Dado que estas plataformas van a gestionar cada vez más volumen de datos, se hace necesario optimizar los recursos existentes en la infraestructura de modo que se continue dando servicio a la ejecución de esas aplicaciones de un modo más eficiente. Una opción podría ser planificar la ejecución de aplicaciones conociendo cuando se van a producir los mayores consumos de recursos por parte de estas. De modo que se pudiese adelantar o retrasar algunos trabajos planificados para que sus picos de consumo no coincidan en tiempo y finalicen incorrectamente por falta de recursos en el sistema. En este trabajo se analizará un conjunto de datos real extraído de una plataforma de procesamiento distribuido donde multitud de aplicaciones ejecutan sus tareas de modo paralelizado y concurrente. Posteriormente, los datos serán utilizados para crear modelos de aprendizaje automático mediante series temporales con la idea de predecir, para la próxima ejecución de una determinada aplicación, cuando se producirá su pico de consumo máximo y cuál será el valor de este.
Abstract Over the last years, creation and consumption of internet data has been increased. This makes necessary using Big Data technologies for managing these data and getting a value from them. Usually, these technologies work in distributed business environments that can amount to thousands of machines. As these platforms are expected to manage an increasing data volume, finding new ways for optimizing the available resources are needed, so they can continue providing support to those applications that must be executed in distributed environments. One possible solution could be scheduling the applications executions based on their peak resource consumptions. This way, several jobs could be delayed or forwarded so they cannot reach their consumption peaks at the same time and avoid evicting them due to the lack of available resources. This work will analyze a real distributed environment dataset where lots of applications are executed in a parallel way. Next, the dataset will be used for building time series machine learning models that will be able to forecast when will be the consumption peak and what is its value for the next execution of a certain application.
Notas adicionales Trabajo de Fin de Máster Universitario en Ingeniería y Ciencia de Datos. UNED
Materia(s) Ingeniería Informática
Palabra clave predicción de consumo de recursos
series temporales
Google Borg Cluster
Traces v3
aprendizaje automático
aprendizaje automático profundo
Jupyter Notebook
Python3
Scikit-Learn
Keras
TensorFlow
Editor(es) Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial
Director/Tutor Caminero Herráez, Agustín Carlos
Cuadra Troncoso, José Manuel
Fecha 2022-10-10
Formato application/pdf
Identificador bibliuned:master-ETSInformatica-ICD-Agarcia
http://e-spacio.uned.es/fez/view/bibliuned:master-ETSInformatica-ICD-Agarcia
Idioma spa
Versión de la publicación acceptedVersion
Nivel de acceso y licencia http://creativecommons.org/licenses/by-nc-nd/4.0
info:eu-repo/semantics/openAccess
Tipo de recurso master Thesis
Tipo de acceso Acceso abierto

 
Versiones
Versión Tipo de filtro
Contador de citas: Google Scholar Search Google Scholar
Estadísticas de acceso: 159 Visitas, 84 Descargas  -  Estadísticas en detalle
Creado: Mon, 24 Oct 2022, 19:18:14 CET