Estrategias de optimización y análisis de performance en sistemas de almacenamiento distribuido

Título:

Estrategias de optimización y análisis de performance en sistemas de almacenamiento distribuido

Autor:

Charne, Javier

Otros autores / Colaboradores:

 Ramón, Hugo Dionisio; [ Director/a]  Díaz, Francisco Javier; [ Director/a] 

Temas:

ALMACENAMIENTO DE DATOS; 

URL:

https://doi.org/10.35537/10915/128965,

Palabras clave:

almacenamiento definido por software, 

Nota de tesis:

Tesis (Maestría en Redes de Datos) - Universidad Nacional de La Plata. Facultad de Informática, 2021.

Extensión:

1 archivo (8,7 MB) : il. col.

Resumen:

La complejidad de los sistemas de almacenamiento es creciente dada la cantidad y simultaneidad de clientes conectados, los datos que son accedidos de manera concurrente, los usuarios distribuidos geográficamente, con tiempos de respuesta acotados y un volumen de información transferida que se amplía de forma exponencial. Respondiendo a estas necesidades, surgen soluciones de Almacenamiento Definido por Software (Software Defined Storage), en las que distintos dispositivos conectados a través de una red de datos forman un cluster que ofrece un conjunto de interfaces a las aplicaciones y clientes, y proveen un complejo sistema de gestión, mantenimiento y monitoreo de los distintos componentes. La tesis centra su análisis en Ceph, un sistema de almacenamiento distribuido de código abierto que corre sobre hardware genérico, diseñado para proveer escalabilidad, confiabilidad y alta performance. Se determinan metodología y métricas para el análisis de performance y se lleva adelante un procedimiento de optimización capa por capa, desde la interfaz de red y los discos, hasta las configuraciones en el cliente para lograr minimizar latencia y maximizar el througput. Finalmente, se estabece un modelo de performance a modo de "linea base", con el fin de monitorear el funcionamiento del cluster y utilizar como referencia en ajustes futuros.

Puede solicitar más fácilmente el ejemplar con: TES 21/43

1. INTRODUCCIÓN 
1.1. Situación y Motivación 
1.2. Lograr el mejor desempeño 
1.3. Objetivos

2. MARCO TEÓRICO y ESTADO del ARTE 
2.1. El camino recorrido 
2.1.1. Los filesystems locales 
2.1.2. Filesystems Cliente-Servidor 
2.1.3. Filesystems Distribuidos 
2.2. Teorema de CAP 
2.3. De la LAN a la WAN 
2.4. De Bloques a Objetos 
2.5. Almacenamiento Definido por Software 
2.6. El escenario actual 
2.6.1. HDFS 
2.6.2. GPFS 
2.6.3. Lustre 
2.6.4. GlusterFS 
2.6.5. Ceph

3. ARQUITECTURA de CEPH 
3.1. Componentes 
3.2. CRUSH 
3.3. Replicación 
3.4. Erasure Coding 
3.5. Tres servicios, un mismo cluster 
3.6. Monitoreo

4. METODOLOGÍA de ANÁLISIS 
4.1. Métricas 
4.2. Herramientas utilizadas 
4.3. Unas palabras sobre benchmarking 
4.4. TESTBED 
4.4.1. Servidores 
4.4.2. Sistema Operativo 
4.4.3. Red de Datos 
4.4.4. Ceph 
4.4.5. Mapa y reglas CRUSH 
4.4.6. Pools 
4.4.7. Placement Groups

5. OPTIMIZACIÓN de la RED de DATOS 
5.1. Las interfaces de red y sus drivers 
5.2. Monitoreo, análisis y ajuste de parámetros de red en el kernel 
5.2.1. Pause Frames 
5.2.2. Interrupt Coalescing 
5.2.3. Colas de procesamiento 
5.2.4. Adapter Offloading 
5.2.5. Jumbo Frames 
5.2.6. TCP timestamps 
5.2.7. TCP Selective Acknowledgements 
5.2.8. Buffers de las Aplicaciones 
5.3. Finalmente, benchmarking de la red

6. BENCHMARK de los DISCOS 
6.1. Latencia 
6.2. IOPS 
6.3. Throughput 
6.4. Nuevas interfaces 
6.5. Una pincelada de realidad 
6.6. Unas palabras sobre buffers y cachés 
6.7. Benchmarking con FIO 
6.8. Patrones de acceso, tamaños de bloque y queue_depth 
6.9. Hard Disk Drives 
6.10. Solid State Disks 
6.11. Algunas comparaciones más

7. “One backend to rule them all” 
7.1. Bluestore 
7.2. Benchmarking de los OSDs

8. BENCHMARKING en RADOS y LIBRADOS 
8.1. RADOS 
8.2. Cache Tiering 
8.3. Compresión 
8.4. Performance de los dispositivos de Bloque

9. BENCHMARKING y AJUSTES en los CLIENTES 
9.1. Optimizar la caché del cliente 
9.2. Otras features de las imágenes RBD 
9.3. Impacto del hardware que mapea el RBD 
9.4. Integración con plataformas de virtualización 
9.4.1. Xen 
9.4.2. Kubernetes

10. A MODO DE SLA 
10.1. La red de datos 
10.2. Los discos SSD 
10.3. Los OSD 
10.4. RADOS 
10.5. Los clientes

11. CONCLUSIONES y TRABAJOS FUTUROS 

12. REFERENCIAS BIBLIOGRÁFICAS

13. SIGLAS y NOMENCLATURA