Indexado de Wikipedia a través de una arquitectura Map-Reduce

Título:

Indexado de Wikipedia a través de una arquitectura Map-Reduce

Autor:

Larroque, José Luis

Otros autores / Colaboradores:

 Díaz, Alicia Viviana; [ Director/a]  Torres, Diego; [ Codirector/a] 

Temas:

JAVA; COMPUTACIÓN EN LA NUBE; ALGORITMOS; 

Palabras clave:

Map Reduce, Giraph, Amazon Web Services, 

Nota de tesis:

Tesina (Licenciatura en Informática) - Universidad Nacional de La Plata. Facultad de Informática, 2017.

Extensión:

121 p. : il. + 1 CD-ROM

Resumen:

El objetivo de este trabajo de tesis es el desarrollo de un algoritmo que permite generar un índice de caminos entre dos artículos cualesquiera de Wikipedia, lo cual se logró a través de la adaptación de un algoritmo BFS preexistente. Este algoritmo fue desarrollado adaptando Wikipedia para ser procesada como un grafo en Giraph, un framework de procesamiento de grafos utilizado por grandes compañías como Facebook, Twitter, Yahoo, etc. La arquitectura de base utilizada fue Hadoop, a través de su modelo de procesamiento Map Reduce, en el cual Giraph se basa de soporte para la ejecución de algoritmos de procesamiento de grafos. La plataforma de cómputo utilizada para ejecutar este trabajo fue Amazon Web Services, a través de la funcionalidad Elastic Map Reduce. Al ser pago dicho entorno, se usó el mismo a través de una subvención para investigación.

Puede solicitar más fácilmente el ejemplar con: TES 17/04

Resumen

Índice general 

1 - Introducción
  1.1 - Objetivo
  1.2 - Motivo 
  1.3 - Introducción 
  1.4 - Organización del informe

2 - Marco teórico
  2.1 - Wikipedia 
  2.2 - Grafos 
  2.3 - Hadoop 
  2.4 - Map Reduce 
  2.5 - BlueFinder
  2.6 - Conclusiones del capítulo

3 - BlueFinder y el origen de esta tesina
  3.1 - DBPedia 
  3.2 - Descripción del problema a resolver
  3.3 - Elección del tipo de recorrido de grafo a usar – BFS o DFS
  3.4 - Giraph 
  3.5 - Conclusiones del capítulo

4 - Solución Algorítmica
  4.1 - Construcción del grafo de entrada
  4.2 - Algoritmo para encontrar caminos entre dos vértices del grafo de Wikipedia
  4.3 - Construcción del archivo de salida
  4.4 – Enlace con BlueFinder - Construcción de base MySQL a partir del resultado del
 algoritmo de búsqueda de caminos navegacionales
  4.5 - Conclusiones del capítulo

5 - Evaluación de resultados
  5.1 - Aspectos generales de la evaluación de resultados
  5.2 - Evaluaciones en Wikiquotes
  5.3 – Evaluaciones en Wikipedia
  5.4 - Conclusiones del capítulo

6 - Conclusiones y trabajos futuros
  6.1 - Conclusiones de este informe final
  6.2 - Mejoras pendientes / Posibles extensiones del trabajo

Glosario 

Apéndice 
  1 - Script guardar-logs-local.sh
  2 - Script armar-dataset-wikipedia.sh
  3 – Script de construcción de base MySQL bluefinderdb.sql

Referencias bibliográficas