Estudio comparativo entre Apache Flink y Apache Spark

Título:

Estudio comparativo entre Apache Flink y Apache Spark: medición de la performance en la ejecución de algoritmos tradicionales de un Datawarehouse

Autor:

Jaime, Rubén Alejandro

Otros autores / Colaboradores:

 Hasperué, Waldo; [ Director/a] 

Temas:

BIG DATA; DATA WAREHOUSE; 

URL:

http://sedici.unlp.edu.ar/handle/10915/126780,

Palabras clave:

Apache Flink, Apache Spark, 

Nota de tesis:

Trabajo Final Integrador (Especialización en Inteligencia de Datos Orientada a Big Data ) - Universidad Nacional de La Plata. Facultad de Informática, 2021.

Extensión:

1 archivo (1,5 MB) : il. col.

Resumen:

El presente trabajo tiene como objetivo desarrollar un estudio comparativo entre Apache Flink y Apache Spark, partiendo de la medición de la performance en la ejecución de algoritmos tradicionales de un Datawarehouse. Para ello, la presente investigación se sustenta en el paradigma cuantitativo de tipo comparativo. Las técnicas de investigación son el análisis de documento y análisis de contenido. Los resultados develan que de tratarse de un proyecto que requiere de amplio volumen de procesamiento de datos, la opción es emplear Apache Spark, dada la facilidad para codificar y realizar numerosas tareas; adicionalmente se pudo develar que este framework dispone de abundante información y profesionales con competencias y experiencia para trabajar en este sistema. Por su parte Apache Flink se distingue por ser un framework diseñado para procesamiento de streaming, no cuenta con mucha información de fácil acceso y existe un número reducido de especialistas con dominio y experiencia en este campo; siendo dos desventajas para su selección. Además, es importante señalar que ambos framework son eficientes en la ejecución de tareas, aunque en cuanto a versatilidad se distingue Apache Spark, por cuanto que permite emplear su potencial en diversos lenguajes de programación. Asimismo, es de destacar que a través de la experimentación los mejores tiempos obtenidos para ambas herramientas se logran al modificar el storage y cuando se lo trabaja en un formato columnar.

Puede solicitar más fácilmente el ejemplar con: TES 21/37

CAPÍTULO 1
Introducción
Objetivos
Metodología
Contribución
Marco Referencial
1. Big Data
1.1 Formato y Tipos de Archivos a utilizar en Big Data
1.1.1 Parquet
1.1.2 ORC
1.1.3 AVRO
2. Antecedentes de Investigación

CAPÍTULO 2
Apache Flink
1. Introducción
2. Casos de Uso
3. Aplicaciones Basadas en Eventos
4. Aplicaciones de Análisis de Datos
5. Aplicaciones de Data Pipelines
6. Flink CEP-Procesamiento de Eventos Complejos para Flink
7. Tabla API y SQL
7.1 Flink SQL
8. Librerías
8.1 Flink ML
8.2 API de Gráficos-Gelly
9. API de Flink Data Stream
9.1 Transformaciones de Data Stream
9.2 API de Flink Data Set
9.2.1 Transformaciones de Data Set

CAPÍTULO 3
Apache Spark
1. Introducción
2. Data Frame
2.1 Particiones
2.2 Transformaciones
3. Arquitectura y Componentes
4. Programación Funcional con Spark
5. Spark RDD
5.1 Evaluación Perezosa
5.2 Limitaciones de los RDDs
6. La Aplicación Spark
7. Agregaciones
7.1 Funciones de la Agregación
8. Persistencia en Memoria y Gestión de Memoria
9. La Anatomía de un Job de Spark
10. Gráfico Acíclico Dirigido

CAPÍTULO 4
Resultados
1. Descripción del Problema de Datawarehouse
2. Planteo del Problema Utilizando Spark y Flink
3. Descripción de la Base de Datos
4. Experimentos Realizados
5. Hardware Utilizado
6. Herramientas de Monitoreo
7. Consultas SQL Implementadas
7.1Tabla View_precalculated
7.2 Agregación RU
7.3 Agregación RV
8. Experimentación
8.1 Resultados de la Ejecución en una Data Warehouse Convencional….
66
8.2 Experimentación con Spark y Flink
8.2.1 Valores Medidos por Ganglia y JConsole
8.3 Análisis de Datos Columnares

CAPÍTULO 5
1 Conclusiones

Referencias Bibliográficas