Estudio e implementación de una técnica de clustering dinámico para trabajar con flujos de datos

Título:

Estudio e implementación de una técnica de clustering dinámico para trabajar con flujos de datos

Autor:

Molina, Roberto Pedro

Otros autores / Colaboradores:

 Hasperué, Waldo; [ Director/a] 

Temas:

FLUJO DE DATOS; MINERÍA DE DATOS; PROGRAMACIÓN DISTRIBUIDA; 

Palabras clave:

aprendizaje no supervisado, 

Nota de tesis:

Tesina (Licenciatura en Informática) - Universidad Nacional de La Plata. Facultad de Informática, 2018.

Extensión:

123 p.  : il. col.  + 1 DVD

Resumen:

El objetivo general de esta tesina es estudiar y analizar las técnicas y problemáticas existentes de clustering (agrupamiento) aplicadas sobre los flujos de datos, buscando técnicas que permitan un agrupamiento dinámico. También, se realizará una investigación y estudio sobre los frameworks o plataformas de procesamiento de flujos de datos actuales con el fin de analizar la viabilidad para generar técnicas de clustering sobre estos entornos. Tras los resultados de las investigaciones y estudios previos, se propone como objetivo particular para esta tesina, el desarrollo, implementación, evaluación y comparación de un algoritmo de clustering dinámico aplicado al tratamiento de flujos de datos.

Puede solicitar más fácilmente el ejemplar con: TES 18/11

Capítulo 1 : Flujos de Datos 
Introducción 
Origen 
El Modelo de Flujos de datos 
Características como Restricciones 
Consultas sobre Flujos de datos 
Modelo general para un algoritmo de Data Streaming 
Ventanas de tiempo 
Enfoques Computacionales 
Aplicaciones 

Capítulo 2 : Apache Spark 
Introducción 
¿Qué es Apache Spark? 
Componentes de Spark 
Arquitectura 
Modelo de procesamiento en paralelo: RDDs 
Funciones sobre RDD: Transformaciones y Acciones 
Transformaciones definidas en la API 
Acciones definidas en la API 
Evaluación lazy 
Persistencia y administración de memoria
Tolerancia a Fallos 
Anatomía de una aplicación en Spark 
DAG 
Spark Streaming 
Arquitectura y Abstracción sobre Spark 
API DStream 
Transformaciones 
Operaciones Output 

Capítulo 3 : Clustering 
Data Stream Clustering 
BIRCH 
Clustering Feature (CF)
CF Tree 
Algoritmo BIRCH 
Problemas con CF Tree
ClusTree 
ClusTree: Micro Clusters e inserciones Anytime 
Definición de ClusTree
Método para mantener actualizado los clusters 
Manejo de flujos muy rápidos: aceleración a través de la agregación 
Generación de Macro-Clusters 
CluStream 
Micro-clusters
Pyramidal Time Frame
Online Clustering con CluStream 
Offline Clustering con Clustream
DenStream 
Core-micro-cluster 
Metodología de procesamiento
Fase Online: Micro-clusters 
Fase Offline: Generación de resultados 

Capítulo 4 : D3CAS, Nuevo algoritmo para Streaming Clustering 
Análisis y Motivación
Diseño 
Ventana de Tiempo 
Metodología Online-offline 
Online-offline sobre la arquitectura distribuida 
Online 
Formato de entrada 
Micro Clusters 
Modelo Micro-cluster 
Generación 
Offline 
Recolección 
Agrupación basa en densidad 
Actualización temporal 
Modelo de los resultados 
Implementación en Apache Spark Streaming 
Cuadro Comparativo 
Pseudo código D3CAS

Capítulo 5 : Evaluación y comparación 
Conceptos para la validez de agrupaciones 
Silhouette 
Definición de Silhouette 
Evaluaciones y comparaciones
Detección dinámica
Comparación de resultados 
Comparación con clusters con formas arbitrarias (no-esféricos) 
Reducción del Flujo de datos 

Conclusión 

Trabajos Futuros 

Referencias bibliográficas