Análisis de herramientas de ETL y reporting en entornos Big Data

Título:

Análisis de herramientas de ETL y reporting en entornos Big Data

Autor:

Marchetti, Jerónimo

Otros autores / Colaboradores:

 Hasperué, Waldo; [ Director/a] 

Temas:

BIG DATA; APACHE; NoSQL; 

URL:

http://sedici.unlp.edu.ar/handle/10915/165008,

Palabras clave:

paradigma ETL, 

Nota de tesis:

Tesina (Licenciatura en Sistemas) - Universidad Nacional de La Plata. Facultad de Informática, 2023.

Extensión:

1 archivo (1,5 MB) : il. col.

Resumen:

Un desafío intrínseco que atraviesan las organizaciones contemporáneas radica en la cuestión de amalgamar datos derivados de diversas fuentes, caracterizados por su heterogeneidad en términos de origen y formato, para posteriormente integrarlos en uno o múltiples almacenes de datos y, consiguientemente, dirigirlos hacia diversos puntos de destino. Un componente adicional de esta problemática conlleva la necesidad recurrente de depurar y uniformizar los datos, dada su propensión a divergir en función de su procedencia. Para abordar este escenario complejo, se han desarrollado diversas herramientas que, en conjunto, ofrecen soluciones a estos desafíos, adoptando el enfoque del paradigma ETL (Extracción, Transformación y Carga, por sus siglas en inglés). Estas herramientas permiten extraer datos de múltiples fuentes, transformarlos para que adopten utilidad, y cargarlos de manera eficiente en almacenes de datos centralizados. Esta integración y procesamiento de datos se convierte en un componente crítico para la toma de decisiones informadas dentro de las organizaciones. A medida que el fenómeno del Big Data continúa creciendo, la gestión efectiva de los datos se vuelve aún más crucial. Esto se debe a que la información de alta velocidad y volumen generada por diversas fuentes debe ser administrada de manera eficiente en aras de respaldar el proceso de Inteligencia Empresarial (Business Intelligence). La Inteligencia Empresarial implica la recopilación, análisis y presentación de datos para obtener información valiosa que respalde la toma de decisiones estratégicas en las empresas. En resumen, la gestión de datos se ha convertido en un factor clave para el éxito de las organizaciones en un entorno empresarial cada vez más complejo y orientado a los datos. La capacidad de reunir, transformar y utilizar eficazmente la información diversa es fundamental para impulsar la toma de decisiones basadas en datos y, en última instancia, la sustentabilidad y viabilidad organizacional. La sección de desarrollo de este proyecto va a seguir el modelo ETL en secuencia. Se emplearán múltiples sistemas simultáneamente para resolver un problema, utilizando diferentes tecnologías, y luego comparar los enfoques usados. El problema de ejemplo estudiado en esta tesina, consiste en observar la variación de precios en diversas categorías de productos desde mayo de 2023 hasta hoy. Para lograrlo, vamos a obtener datos de precios desde dos fuentes clave. Una es la API del Banco Central de la República Argentina (BCRA), la otra implica extraer datos de diferentes categorías de ítems en el portal de Mercado Libre. La forma en que tratemos con los datos obtenidos desde estas fuentes dependerá del enfoque que elijamos, ya sea usando una herramienta drag n’ drop o construyendo un flujo sólo con módulos de programación. Durante la transformación, prepararemos los datos realizando las transformaciones necesarias para adaptarlos al destino final. Posteriormente, evaluaremos la efectividad de la carga de datos en dos arquitecturas diferentes. Por un lado, los almacenaremos en una base de datos SQL y por otro, los guardaremos en una base de datos NoSQL. Después, emplearemos estos datos para generar informes y reportes. Usaremos herramientas convencionales de arrastrar y soltar como Microsoft PowerBI, además de crear reportes mediante notebooks en Python. Estos informes nos servirán para analizar y presentar los resultados obtenidos al analizar la variación de precios en las categorías de productos estudiadas.

Puede solicitar más fácilmente el ejemplar con: TES 23/42

1. Introducción
1.1 Objetivo del trabajo
1.2 Motivación
1.3 Aportes de la Tesina
1.4 Estructura de la Tesina

2. Marco teórico
2.2 ETL
2.2.1 Extracción
2.2.2 Transformación
2.2.3 Carga
2.3 Big Data
2.3.1 Data Warehousing
2.4 Reporting y Data BI

3. Herramientas utilizadas para el desarrollo
3.1 Python y entornos de construcción basada en código para
procesos ETL y Big Data
3.2 Spark
3.3 Apache Nifi
3.4 Herramientas de reporting con GUI y basadas en código

4. Desarrollo
4.1 Esquema general del desarrollo
4.2 Extracción
4.2.1 Scraping
4.2.1.1 Implementación del scraping en Nifi
4.2.1.2 Implementación del scraping en Python
4.5 Transformación
4.5.1 Transformación con Nifi
4.5.2 Transformación en notebooks de código
4.6 Carga
4.6.1 Carga en SQL y Data Warehousing
4.6.1.1 Carga SQL en Nifi
4.6.1.2 Carga SQL en notebooks
4.6.2 noSQL
4.6.2.1 Carga noSQL en Nifi
4.6.2.2 Carga noSQL en notebooks
4.7 Reporting
4.7.1 Herramientas con interfaz gráfica
4.7.2 Reporting mediante notebooks con librerías de código

5. Mediciones
5.1 Consumo de recursos
5.1.1 Consumo de recursos de cómputo para ETL con
Apache Nifi y Python
5.1.2 Consumo de recursos de cómputo para herramientas de
reporting PowerBI y Python
5.2 Costos en cloud
5.3 Recursos organizacionales

6. Conclusiones finales

7. Referencias bibliográficas