Estudio comparativo entre Apache Spark y Apache Flink en el procesamiento de streaming en entornos Big Data

Título:

Estudio comparativo entre Apache Spark y Apache Flink en el procesamiento de streaming en entornos Big Data

Autor:

Fajardo, Hugo Manuel

Otros autores / Colaboradores:

 Hasperué, Waldo; [ Director/a] 

Temas:

FLUJO DE DATOS; PROCESAMIENTO DISTRIBUIDO; 

URL:

http://sedici.unlp.edu.ar/handle/10915/155135,

Palabras clave:

streaming de datos, 

Nota de tesis:

Trabajo Final Integrador (Especialización en Inteligencia de Datos Orientada a Big Data) - Universidad Nacional de La Plata. Facultad de Informática, 2022.

Extensión:

1 archivo (2,6 MB) : il. col.

Resumen:

La sociedad hoy plantea crecientes demandas de soluciones informáticas, cuando estas soluciones requieren el procesamiento de grandes volúmenes de datos, las herramientas tradicionales de procesamiento muestran limitaciones e inconvenientes derivados de la cantidad de datos a procesar o del tiempo necesario para realizarlo. Surge así, la necesidad de herramientas específicas, llamadas herramientas de Big Data. Dentro de estas existe un grupo concreto para el procesamiento de flujos de datos (stream processing), entendiendo por flujo de datos la recepción y procesamiento continuo de datos ilimitados desde diferentes fuentes. Debido a su naturaleza sin límite, estos flujos no pueden descargarse de manera completa, y deben ser procesados en línea cuando se reciben. Dos de las principales herramientas para el procesamiento de streaming son Apache Spark y Apache Flink. El objetivo del presente trabajo es realizar una comparación entre Apache Spark y Apache Flink en el procesamiento de streaming. Para realizar la comparación entre estas herramientas se utilizará el lenguaje de desarrollo Python, ya que el mismo soporta el trabajo tanto en Spark como en Flink, y a su vez es uno de los lenguajes de programación más utilizados en la actualidad. La comparación entre los frameworks requiere el desarrollo de dos aplicaciones para el tratamiento del flujo de datos, ambas resolviendo el mismo problema. Una aplicación realizará el procesamiento de streaming en Apache Spark, mientras que la otra realizará la misma tarea en Apache Flink.

Puede solicitar más fácilmente el ejemplar con: TES 22/47

1. Introducción
1.1. Motivación 
1.1.1. Ventajas del procesamiento de streaming
1.1.2. Herramientas de Procesamiento de Streaming
1.2. Objetivos y Metodología

2. Fundamentos del Procesamiento de Streaming 
2.1. Datos de streaming 
2.2. Procesamiento por lotes y procesamiento de streaming
2.3. Procesamiento distribuido de streaming
2.4. Modelo de Procesamiento de Streaming
2.5. Procesamiento continuo vs. procesamiento en microlotes
2.6. Tiempo de evento y tiempo de procesamiento 
2.7. Procesamiento de eventos con marcas de agua 
2.8. Manipulación de Datos 
2.8.1. Transformaciones 
2.8.2. Agregaciones
2.9. Streaming sin estado y streaming con estado

3. Apache Spark 
3.1. Introducción 
3.2. Arquitectura de Spark 
3.3. Despliegue de Spark 
3.4. Api de Lenguajes de Spark
3.5. Abstracciones de Datos 
3.5.1. DataFrames
3.5.2. SQL 
3.5.3. Datasets
3.5.4. RDDs 
3.6. Operaciones sobre los Datos 
3.6.1. Transformaciones
3.6.2. Acciones
3.7. Spark en Funcionamiento
3.7.1. El DAGScheduler en detalle 
3.8. Procesamiento de Streaming en Spark 
3.8.1. Gestión de datos en Memoria 
3.8.2. Transformaciones y Agregaciones
3.8.3. Semántica de Entrega de Datos
3.8.4. Fuentes de Datos
3.8.5. Sumideros de datos
3.8.6. Procesamiento sin estado y con estado

4. Apache Flink 
4.1. Introducción
4.1.1. Escalabilidad
4.1.2. Procesamiento en memoria 
4.2. Arquitectura de Flink 
4.3. Despliegue de Flink
4.4. Api de Lenguajes de Flink
4.5. Niveles de Abstracción en Flink 
4.5.1. SQL
4.5.2. Table Api 
4.5.3. DataStream / DataSet Api 
4.5.4. Stateful Stream Processing 
4.6. Funcionamiento de Flink 
4.7. Procesamiento de Streaming en Flink
4.7.1. Esencia del procesamiento de streaming 
4.7.2. Procesamiento paralelo 
4.7.3. Procesamiento con estado 
4.7.4. Tolerancia a Fallas 
4.7.5. Semántica de procesamiento
4.7.6. Ventanas en Flink
4.7.7. Funciones de Ventana 
4.7.8. Fuentes de datos y sumideros

5. Trabajo Experimental 
5.1. Descripción del Trabajo Experimental 
5.2. Hardware Utilizado
5.3. Software Utilizado
5.4. Origen de Datos 
5.4.1. Análisis del Origen de Datos
5.5. Pipelines de Procesamiento
5.5.1. Pipeline de Ingesta de Datos 
5.5.2. Pipelines de Procesamiento
5.6. Código Fuente de Pipelines de Procesamiento
5.7. Herramientas de Monitorio y Medición

6. Evaluación Comparativa 
6.1. Facilidad de Instalación y Despliegue
6.2. Fuentes de Datos Admitidas
6.3. Lenguajes de Programación soportados
6.4. Documentación Disponible
6.5. Evaluación de Rendimiento 
6.5.1. Consideraciones Generales de la Evaluación de Rendimiento
6.5.2. Uso de CPU 
6.5.3. Uso de Memoria 
6.5.4. Cantidad de Hilos de Ejecución
6.5.5. Cantidad de Clases Cargada
6.5.6. Latencia 
6.5.7. Duración Total del Ciclo de Procesamiento
6.6. Resumen de la Evaluación 

7. Conclusiones y Trabajos Futuros 
7.1. Facilidad de Instalación y Despliegue 
7.2. Fuentes de Datos Admitidas para el Intercambio de Datos
7.3. Lenguajes de Programación Soportados
7.4. Documentación Disponible
7.5. Evaluación de Rendimiento 
7.5.1. Uso de CPU
7.5.2. Uso de Memoria
7.5.3. Cantidad de Hilos de Ejecución Utilizados 
7.5.4. Cantidad de Clases Cargadas
7.5.5. Latencia 
7.5.6. Duración Total del Ciclo de Procesamiento 
7.6. Consideraciones Finales
7.7. Trabajos Futuros

8. Bibliografía