Análisis y diseño de técnicas de preprocesamiento de instancias escalables para problemas no balanceados en Big Data

Título:

Análisis y diseño de técnicas de preprocesamiento de instancias escalables para problemas no balanceados en Big Data: aplicaciones en situaciones de emergencias humanitarias

Autor:

Basgall, María José

Otros autores / Colaboradores:

 Naiouf, Ricardo Marcelo; [ Director/a]  Fernández Hilario, Alberto; [ Director/a] 

Temas:

BIG DATA; APRENDIZAJE AUTOMÁTICO; 

URL:

https://doi.org/10.35537/10915/135846,

Palabras clave:

desbalance de datos, 

Nota de tesis:

Tesis (Programa de Doctorado en Tecnologías de la Información y la Comunicación) - Universidad Nacional de La Plata. Universidad de Granada, 2022.

Extensión:

1 archivo (4,3 MB) : il. col.

Resumen:

En la actual era de la información, el análisis asociado al escenario de Big Data permite la extracción de conocimiento de una vasta fuente de información. Una de las cuestiones de interés para extraer y explotar el valor de los datos, es adaptar y simplificar los datos en crudo que son entrada para el algoritmo de aprendizaje, lo que se conoce como Smart Data. A pesar de la importancia de lo anterior, y su aplicación en problemas estándar, el análisis de la calidad de los datos de los conjuntos Big Data es casi un territorio inexplorado. En este sentido, un estudio exhaustivo de las características de los datos, junto con la aplicación de las técnicas de preprocesamiento adecuadas, se ha convertido en un paso obligatorio para todos los proyectos de Ciencia de Datos, tanto en la industria como en el mundo académico, y en especial aquellos asociados con análisis en Big Data. En consecuencia, el eje principal de investigación de la presente tesis abordó el preprocesamiento distribuido y escalable de conjuntos Big Data de clasificación binaria, con el fin de obtener el ya citado Smart Data. Teniendo en cuenta el impacto que tienen las características intrínsecas de los datos en el rendimiento de los modelos de aprendizaje, así como la escasa cantidad de soluciones existentes para escenarios Big Data, en esta memoria de tesis se presentaron tres propuestas para la identificación y/o el tratamiento de las siguientes características: (a) datos no balanceados; (b) redundancia; (c) alta dimensionalidad; y (d) solapamiento. Respecto a los datos no balanceados, se presentó SMOTE-BD, un SMOTE para Big Data basado en un estudio sobre las particularidades necesarias para que su diseño sea totalmente escalable, y que además su comportamiento se ajuste lo más fielmente posible a la técnica secuencial del estado del arte (tan popular en escenarios Small Data). Asimismo, se introdujo una variante de SMOTE-BD, denominada SMOTE-MR, que sigue un diseño tal que procesa los datos localmente en cada nodo. Dado que no existe una única técnica que siempre sea la que genere los mejores resultados, cuando se tiene que equilibrar las clases de un problema, se suelen aplicar una serie de ellas. Es por esto que nuestro aporte toma mayor relevancia puesto que, hasta el momento de su desarrollo, sólo estaban disponibles las soluciones triviales basadas en muestreo aleatorio. En relación a la redundancia y a la alta dimensionalidad de los datos, se presentó FDR2-BD, una metodología escalable para reducir (o condensar) un conjunto Big Data de manera dual vertical y horizontal, es decir, reducción de atributos y de instancias, con la premisa de mantener la calidad predictiva respecto de los datos originales. La propuesta se basa en un esquema de validación cruzada donde se realiza un proceso de hiperparametrización que, además, soporta el manejo de conjuntos de datos no balanceados. FDR2-BD permite conocer si un conjunto de datos dado es reducible manteniendo el poder predictivo de los datos originales dentro de un umbral que puede ser establecido por la persona experta en el dominio del problema. Por consiguiente, nuestra propuesta informa cuáles son los atributos de los datos de mayor importancia y cuál es el porcentaje de reducción uniforme de instancias que se puede llevar a cabo. Los resultados mostraron la fortaleza de FDR2-BD obteniendo valores de reducción muy elevados para la mayoría de los conjuntos de datos estudiados, tanto en lo que respecta a la dimensionalidad como a los porcentajes de reducción de instancias propuestos. En términos concretos, se alcanzó alrededor del 70 % de reducción de las características y 98 % de reducción de las instancias, para un umbral de pérdida predictiva máxima aceptada del 1 % del cual, en algunos casos, la calidad predictiva se mantuvo igual a la del conjunto original. Esta información condensada provee la ventaja de poder ser usada en infraestructuras más sencillas que las dedicadas para el procesamiento de Big Data, además de habilitar su uso con técnicas de explicabilidad/interpretabilidad como LIME o SHAP, cuya complejidad computacional es al menos O(n2 x d), con n y d número de instancias y variables respectivamente. En cuanto al solapamiento, se presentó GridOverlap-BD, una metodología para la caracterización escalable de problemas Big Data de clasificación. La propuesta se apoya en el particionamiento del espacio de características basado en rejilla. GridOverlap-BD permite identificar o caracterizar las áreas del problema en dos tipologías: zonas puras y solapadas. Además, se introdujo una métrica de complejidad derivada de aplicar GridOverlap-BD, con foco en cuantificar el solapamiento presente en los datos. De la experimentación realizada, se observó que tanto la caracterización de las zonas de un problema como la cuantificación del grado de solapamiento se llevaron a cabo de manera efectiva para los conjuntos de datos del entorno experimental. Ello implica una aproximación pionera escalable y totalmente agnóstica (independiente del modelo) para la caracterización de las instancias de un problema Big Data, y la estimación de su complejidad de cara al análisis de los resultados posteriores del modelado. Todas las propuestas fueron desarrolladas utilizando el framework Apache Spark, dado que se ha convertido en un estándar de facto para el procesamiento de Big Data. Además, las implementaciones se encuentran disponibles en repositorios de público acceso, en aras de facilitar la reproducibilidad de los resultados, así como la posible extensión de las aproximaciones diseñadas en la presente tesis doctoral para cualquier investigador interesado.

Puede solicitar más fácilmente el ejemplar con: TES 22/37

I Introducción y base teórica 

1 Introducción
1.1 Objetivos
1.2 Metodología
1.3 Organización de la tesis

2 Características de los datos 
2.1 Complejidades intrínsecas de los datos 
2.2 Análisis exploratorio de datos 
2.3 Comentarios del capítulo

3 Aprendiendo de los datos
3.1 Aprendizaje Automático 
3.2 Clasificación de los datos 
3.2.1 Modelos de clasificación
3.3 Métricas de evaluación de la calidad predictiva 
3.3.1 Métodos de validación
3.4 Comentarios del capítulo

4 Preprocesamiento de los datos 
4.1 Desequilibrio de clases
4.1.1 Enfoques a nivel de algoritmos 
4.1.2 Métodos sensibles a los costes
4.1.3 Enfoques a nivel de datos
4.2 Reducción de datos 
4.2.1 Reducción de instancias (reducción horizontal)
4.2.2 Reducción de características (reducción vertical)
4.3 Zonas ambiguas de un problema
4.4 Comentarios del capitulo 

5 Big Data
5.1 Introducción a Big Data
5.2 El modelo MapReduce 
5.3 El ecosistema Hadoop
5.3.1 Almacenamiento: Hadoop HDFS 
5.3.2 Gestión de recursos y monitorización de trabajos: Hadoop Yarn 
5.3.3 Motores de procesamiento: Hadoop MapReduce y Apache Spark 
5.4 Profundizando en Apache Spark 
5.5 Comentarios del capítulo

II Aportes

6 Big Data no balanceado 
6.1 Clasificación no balanceada de Big Data 
6.2 Synthetic Minority Oversampling TEchnique (SMOTE) escalable para la clasificación no balanceada en Big Data 
6.3 Análisis del comportamiento de SMOTE-BD
6.4 Un análisis de soluciones locales y globales para abordar la clasificación
no balanceada de Big Data
6.5 Comentarios del capítulo

7 Reducción escalable en escenarios Big Data
7.1 Condensación de datos en Big Data 
7.2 FDR2-BD: Una herramienta rápida de recomendación de reducción
de datos para problemas de clasificación de Big Data tabular
7.2.1 Descripción y flujo de trabajo 
7.2.2 Resumen de la implementación técnica 
7.3 Estudio experimental 
7.3.1 Entorno de trabajo
7.3.2 Estudio de reducción del volumen de datos 
7.3.3 La influencia de la selección de características en la reducción del volumen de datos 
7.3.4 Detalles de la condensación de datos y evaluación del rendimiento 
7.3.5 Evaluación de la escalabilidad
7.4 Comentarios del capítulo 

8 Caracterización del solapamiento en conjuntos Big Data 
8.1 Caracterización de un conjunto de datos. Particionamiento del espacio de características
8.2 GridOverlap-BD, hacia la caracterización escalable del solapamiento en un conjunto Big Data 
8.2.1 Descripción y flujo de trabajo
8.2.2 Comentarios de la implementación técnica 
8.3 Estudio experimental 
8.3.1 Entorno experimental 
8.3.2 Efectividad en la distinción de Áreas puras y ambiguas 
8.3.3 Grado de solapamiento 
8.3.4 Comparando el desempeño del método de base contra los enfoques para tratar el solapamiento 
8.4 Comentarios del capítulo

III Casos de uso 

9 Emergencias humanitarias
9.1 Descripción de los conjuntos de datos de Emergencias Humanitarias (EH) 
9.2 Análisis exploratorio de los datos
9.3 Empleo de técnicas de sobremuestreo y caracterización de los datos
9.4 Comentarios del capítulo

IV Conclusiones 

10 Conclusiones y trabajo a futuro

Bibliografía 

Apéndices