Coplanificación de procesos maleables de aprendizaje automático mediante contenedores

Título:

Coplanificación de procesos maleables de aprendizaje automático mediante contenedores

Autor:

Libutti, Leandro

Otros autores / Colaboradores:

 Igual, Francisco; [ Director/a]  De Giusti, Laura Cristina; [ Director/a] 

Temas:

APRENDIZAJE AUTOMÁTICO; FRAMEWORKS; 

URL:

https://doi.org/10.35537/10915/153706,

Palabras clave:

contenedores, 

Nota de tesis:

Tesis (Maestría en Cómputo de Altas Prestaciones) - Universidad Nacional de La Plata. Facultad de Informática, 2023.

Extensión:

1 archivo (2,2 MB) : il. col.

Resumen:

En las últimas décadas, el avance de los algoritmos de Aprendizaje Automático (Machine Learning, ML) ha despertado el interés en la búsqueda de estrategias que logren acelerar los procesos de entrenamiento e inferencia típicos de este ámbito, especialmente cuando éstos surgen en servidores con un elevado grado de paralelismo, complejidad y heterogeneidad. Típicamente, estos procesos se realizan a través de entornos de trabajo (frameworks) de propósito específico tales como Tensoflow, Keras, Caffe o Pytorch. A día de hoy, Tensorflow es uno de los frameworks más utilizados por parte de los desarrolladores de algoritmos de ML. Desde el punto de vista de rendimiento computacional, existen entre sus parámetros de configuración diversas opciones de configuración relativas al grado de paralelismo, que pueden ser fijadas a priori, pero no pueden ser reconfiguradas durante el proceso de entrenamiento o inferencia, por lo que se consideran parámetros rígidos. En situaciones en las que múltiples instancias del framework se ejecutan en una misma máquina, dicha rigidez puede derivar en problemas tales como oversuscription, degradamiento del rendimiento del sistema y/o aplicación e infrautilización de los recursos computacionales. Por lo tanto, resulta importante agregar un grado de elasticidad en Tensorflow, permitiendo aumentar la productividad del sistema en entornos dinámicos multiprogramados. Por otro lado, la utilización de contenedores como método de virtualización ligera permite una mejor administración de los recursos y portabilidad. Existen múltiples planificadores que permiten aprovechar los beneficios de los contenedores, pero solo permiten llevar a cabo una asignación estática de recursos en el momento de su creación, y en algunos casos reasignación de recursos en tiempo de ejecución; en cualquier caso, las aplicaciones en ejecución dentro del contenedor no se encuentran preparadas para reaccionar ante dicho evento, y por tanto no se adaptarán en ningún caso a la modificación en los recursos asignados al contenedor. Por todo lo comentado anteriormente, este trabajo propone el diseño e implementación de un mecanismo completo de elasticidad en el uso de recursos computacionales en el framework Tensorflow, permitiendo la reasignación dinámica de núcleos de cómputo durante la ejecución del algoritmo de ML. Además, se extiende el uso de la elasticidad a contenedores con la implementación de un controlador/cliente que permita administrar los recursos computacionales asignados a los algoritmos de ML que ejecutan internamente. Por último, se implementa un planificador de contenedores elásticos con el fin de gestionar dinámicamente los recursos del sistema entre todos los contenedores activos y definir políticas de planificación que favorezcan el rendimiento global del sistema.

Puede solicitar más fácilmente el ejemplar con: TES 23/14

1. Introducción 
1.1. Motivación 
1.2. Objetivos
1.3. Organización

2. Marco Teórico 
2.1. Contenedores 
2.2. Elasticidad/(re)asignación de recursos en contenedores 
2.3. Elasticidad en cloud 
2.4. Elasticidad en aplicaciones 

3. Integración de elasticidad en Tensorflow 
3.1. El framework Tensorflow
3.1.1. Grafo computacional 
3.1.2. Modelo de ejecución 
3.1.3. Optimizaciones 
3.1.4. Visualización de trazas de ejecución 
3.2. Diseño e integración de elasticidad en Tensorflow
3.2.1. Diseño de la solución 
3.2.2. Implementación

4. Coplanificación de aplicaciones elásticas 
4.1. Diseño de la solución 
4.1.1. Funcionamiento del planificador 
4.2. Políticas de planificación y reasignación de recursos
4.2.1. Política de planificación 
4.2.2. Políticas de asignación/reasignación de recursos 
4.3. Implementación de la solución 
4.3.1. Modulo del cliente 
4.3.2. Modulo del servidor del planificador 
4.3.3. Modulo del visor de trazas

5. Resultados
5.1. Especificaciones para las pruebas 
5.2. Elasticidad en Tensorflow 
5.2.1. Elasticidad del inter paralelismo
5.2.2. Elasticidad del Intra Paralelismo
5.3. Evaluación de oversubscription 
5.4. Coplanificación de contenedores elásticos 
5.4.1. Elasticidad en contenedores 
5.4.2. Planificación de contenedores 

6. Conclusiones y trabajo futuro
6.1. Conclusiones 
6.2. Trabajos Futuros 

A. Instrucciones de uso del planificador 
A.1. Requerimientos de sistema 
A.2. Lanzamiento del servidor

B. Tablas de métricas de los experimentos