Generación de texto estructurado en español para batallas de freestyle utilizando modelos de Deep Learning

Título:

Generación de texto estructurado en español para batallas de freestyle utilizando modelos de Deep Learning

Autor:

Dal Bianco, Pedro Alejandro

Otros autores / Colaboradores:

 Ronchetti, Franco; [ Director/a] 

Temas:

LENGUAJE NATURAL; 

URL:

http://sedici.unlp.edu.ar/handle/10915/118994,

Palabras clave:

aprendizaje profundo, generación de texto estructurado, 

Nota de tesis:

Tesina (Licenciatura en Informática) - Universidad Nacional de La Plata. Facultad de Informática, 2021.

Extensión:

1 archivo (2,88 MB) : il. col.

Resumen:

Con la presencia cada vez mayor de la inteligencia artificial en gran variedad de áreas diferentes, el uso de técnicas de aprendizaje automático y deep learning para propósitos creativos también ha aumentado significativamente los últimos años. Este tipo de trabajos dentro del área de procesamiento de lenguaje natural típicamente toman la forma de modelos neuronales generadores de ficción o líricas, encontrándose en la mayoría de los casos en idioma inglés y sin una posibilidad de adaptarse fácilmente a otros idiomas. En este trabajo se desarrolló un sistema generador de texto que se enmarca en el estilo y estructura del subgénero del rap conocido como batallas de freestyle, que además del componente puramente creativo o artístico incluye un factor competitivo entre sus ejecutantes.

Puede solicitar más fácilmente el ejemplar con: TES 21/02

1. Introducción 
1.1. Resumen 
1.2. Motivación 
1.3. Objetivos 
1.4. Organización del documento 

2. Deep Learning 
2.1. Modelos lineales 
2.1.1. Clasificación binaria 
2.1.2. Clasificación multiclase 
2.2. Función de error 
2.2.1. Entropía Cruzada Categórica 
2.3. Descenso de Gradiente 
2.3.1. Sobreajuste 
2.4. Redes neuronales 
2.4.1. Funciones de activación 
2.4.2. Entrenamiento de redes neuronales - Back-propagation 
2.4.3. Dropout 
2.4.4. Transfer Learning 
2.5. Redes neuronales recurrentes 
2.5.1. RNNs bidireccionales 
2.5.2. Arquitecturas con compuertas 

 3. Procesamiento de Lenguaje Natural 
3.1. Preprocesamiento 
3.1.1. Tokenización 
3.1.2. Byte Pair Encoding 
3.2. Representación de documentos 
3.2.1. Representación con Características Estáticas 
3.2.2. Representación con Características Dinámicas 
3.2.3. Representación con Características Aprendidas: Word Embeddings 
3.2.4. Obtención de vectores de Embeddings 
3.3. Modelos de Lenguaje - Generación de Lenguaje Natural 
3.3.1. Modelos de Lenguaje de n-gramas 
3.3.2. Modelos de Lenguaje Neuronal con ventana fija 
3.3.3. Modelos de Lenguaje con Redes Neuronales Recurrentes 
3.4. Generación de texto estructurado 
3.4.1. Batallas de freestyle 
3.4.2. Métricas de evaluación 
3.4.3. Trabajos relacionados 

 4. Desarrollo Realizado 
4.1. Generación de Base de Datos 
4.2. Preprocesamiento y análisis de los datos 
4.2.1. Análisis de vocabulario 
4.2.2. Tokenización 
4.3. Modelo de generación de texto 
4.4. Entrenamiento del modelo de lenguaje 
4.5. Generación de texto estructurado 
4.5.1. Organización del texto en estrofas 
4.5.2. Generación de texto bajo estructura de rima 
4.5.3. Algoritmo de generación 

5. Conclusiones y trabajos futuros 
5.1. Conclusiones generales 
5.2. Líneas de trabajo futuras 

Bibliografía