Publicación:
Evaluación de Rendimiento del Entrenamiento Distribuido de Redes Neuronales Profundas en Plataformas Heterogéneas

Vista sencilla de ítem
dc.contributor.authorMoreno Álvarez, Sergio
dc.contributor.authorPaoletti, Mercedes Eugenia
dc.contributor.authorHaut, Juan Mario
dc.contributor.authorRico Gallego, Juan Antonio
dc.contributor.authorPlaza, Javier
dc.contributor.authorDíaz Martín, Juan Carlos
dc.contributor.editorVega Rodriguez, Miguel ángel
dc.contributor.editorPlaza Miguel, Antonio J.
dc.contributor.orcidhttps://orcid.org/0000-0003-1030-3729
dc.contributor.orcidhttps://orcid.org/0000-0001-6701-961X
dc.contributor.orcidhttps://orcid.org/0000-0002-4264-7473
dc.contributor.orcidhttps://orcid.org/0000-0002-8908-1606
dc.contributor.orcidhttps://orcid.org/0000-0002-8435-3844
dc.coverage.spatialCáceres
dc.coverage.temporal2019-09-18
dc.date.accessioned2024-11-15T09:59:20Z
dc.date.available2024-11-15T09:59:20Z
dc.date.issued2019
dc.descriptionActas de Jornadas SARTECO, Cáceres, 18 a 20 de septiembre de 2019|
dc.description.abstractAsynchronous stochastic gradient descent es una tecnica de optimizacion comunmente utilizada en el entrenamiento distribuido de redes neuronales profundas. En distribuciones basadas en particionamiento de datos, se entrena una replica del modelo en cada unidad de procesamiento de la plataforma, utilizando conjuntos de muestras denominados mini-batches. Este es un proceso iterativo en el que al nal de cada mini-batch, las replicas combinan los gradientes calculados para actualizar su copia local de los parametros. Sin embargo, al utilizar asincronismo, las diferencias en el tiempo de entrenamiento por iteracion entre replicas provocan la aparicion del staleness, esto es, las replicas progresan a diferente velocidad y en el entrenamiento de cada replica se utiliza una vers on no actualizada de los parametros. Un alto gradde staleness tiene un impacto negativo en la precision del modelo resultante. Ademas, las plataformas de computacion de alto rendimiento suelen ser heterogeneas, compuestas por CPUs y GPUs de diferentes capacidades, lo que agrava el problema de staleness. En este trabajo, se propone aplicar t ecnicas de equilibrio de carga computacional, bien conocidas en el campo de la Computaci on de Altas Prestaciones, al entrenamiento distribuido de modelos profundos. A cada r eplica se asignar a un n umero de mini-batches en proporci on a su velocidad relativa. Los resultados experimentales obtenidos en una plataforma hete-rog enea muestran que, si bien la precisi on se mantiene constante, el rendimiento del entrenamiento aumenta considerablemente, o desde otro punto de vista, en el mismo tiempo de entrenamiento, se alcanza una mayor precisi on en las estimaciones del modelo. Discutimos las causas de tal incremento en el rendimiento y proponemos los pr oximos pasos para futuras investigaciones.es
dc.description.versionversión final
dc.identifier.citationSergio Moreno Álvarez, Mercedes Eugenia Paoletti Ávila, Juan Mario Haut Hurtado, Juan Antonio Rico Gallego, Javier Plaza, Juan Carlos Díaz Martín. "Evaluación de Rendimiento del Entrenamiento Distribuido de Redes Neuronales Profundas en Plataformas Heterogéneas". Actas Jornadas Sarteco 2019, Universidad de Extremadura, (132-140 páginas).
dc.identifier.isbn9788409121274
dc.identifier.urihttps://hdl.handle.net/20.500.14468/24386
dc.language.isoes
dc.publisherUniversidad de Extremadura
dc.relation.centerE.T.S. de Ingeniería Informática
dc.relation.congressAvances en Arquitectura y Tecnología de Computadores. Jornadas SARTECO 2019, Septiembre, Cáceres
dc.relation.departmentLenguajes y Sistemas Informáticos
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/deed.es
dc.subject12 Matemáticas::1203 Ciencia de los ordenadores ::1203.17 Informática
dc.subject.keywordsAprendizaje Profundoes
dc.subject.keywordsComputación de Altas Prestacioneses
dc.subject.keywordsEntrenamiento Distribuidoes
dc.subject.keywordsPlataformas Heterogéneases
dc.subject.keywordsRedes Neuronaleses
dc.titleEvaluación de Rendimiento del Entrenamiento Distribuido de Redes Neuronales Profundas en Plataformas Heterogéneases
dc.typeactas de congresoes
dc.typeconference proceedingsen
dspace.entity.typePublication
relation.isAuthorOfPublication3482d7bc-e120-48a3-812e-cc4b25a6d2fe
relation.isAuthorOfPublication.latestForDiscovery3482d7bc-e120-48a3-812e-cc4b25a6d2fe
Archivos
Bloque original
Mostrando 1 - 1 de 1
Miniatura
Nombre:
MorenoAlvarez_Sergio_2019EvaluacionDeRendimie_SERGIO MORENO ALVARE.pdf
Tamaño:
1.05 MB
Formato:
Adobe Portable Document Format
Descargar
Bloque de licencias
Mostrando 1 - 1 de 1
No hay miniatura disponible
Nombre:
license.txt
Tamaño:
3.62 KB
Formato:
Item-specific license agreed to upon submission
Descripción:
Descargar
Colecciones
Actas y comunicaciones de congresos