Redes GANs como técnica de data augmentation para el reconocimiento de lengua de señas

Título:

Redes GANs como técnica de data augmentation para el reconocimiento de lengua de señas

Autor:

Gaggiotti, William

Otros autores / Colaboradores:

 Ronchetti, Franco; [ Director/a] 

Temas:

APRENDIZAJE AUTOMÁTICO; TECNOLOGÍAS PARA PERSONAS CON DISCAPACIDADES; GENERACIÓN DE IMÁGENES; RECONOCIMIENTO Y CLASIFICACIÓN; 

URL:

http://sedici.unlp.edu.ar/handle/10915/129860,

Palabras clave:

aprendizaje profundo, redes generativas adversarias (GANs), lengua de señas, data augmentation, 

Nota de tesis:

Tesina (Licenciatura en Informática) - Universidad Nacional de La Plata. Facultad de Informática, 2021.

Extensión:

1 archivo (8,5 MB) : il. col.

Resumen:

En los últimos años las Redes Generativas Adversarias han sido un tema de vanguardia dentro del campo del Aprendizaje Profundo. Por otra parte, es de común conocimiento que la cantidad de conjuntos de datos disponibles hoy en día no es suficiente para todas las problemáticas existentes. En esta tesis se explora el uso de GANs para la generación de imágenes sintéticas de la lengua de señas en los dataset LSA16 y ASL Finger Spelling. Posteriormente se utilizan las mismas para realizar data augmentation con el fin de aumentar la precisión en la clasificación de señas estáticas, logrando una mejora del ~2% para el conjunto de datos LSA16 y ~4% para el conjunto de datos de ASL Finger Spelling. Estos resultados se obtuvieron con el uso de BigGAN, el modelo GAN que logró generar las imágenes de más alta fidelidad a la vez que mantuvo una gran diversidad en sus muestras.

Puede solicitar más fácilmente el ejemplar con: TES 21/19

1. Introducción
1.1. Resumen 
1.2. Motivación 
1.3. Objetivos 
1.4. Organización de la tesis

2. Aprendizaje Automático
2.1. Modelos de regresión 
2.1.1. Función de costo error cuadrático medio(MSE) 
2.1.2. Aprendizaje de parámetros 
2.1.3. Descenso del gradiente (SGD) 
2.2. Modelos de clasificación
2.2.1. Regresión logística
2.2.2. Función de costo entropía cruzada
2.3. Aprendizaje profundo
2.3.1. Redes neuronales 
2.3.2. Funciones de activación
2.3.3. Forward-Propagation/Backward-Propagation 
2.4. Redes neuronales convolucionales 
2.4.1. Capas convolucionales
2.4.2. Capas de pooling 
2.4.3. Normalización por lotes 
2.5. Aumento de datos 

3. Redes Generativas Adversarias
3.1. Función de costo en Redes Generativas Adversarias
3.2. Entrenamiento
3.3. Dificultades para entrenar GANs 
3.3.1. No convergencia
3.3.2. Gradientes que desaparecen 
3.3.3. Colapso modal
3.3.4. Muestras generadas por la GAN original
3.4. Wasserstein GAN 
3.4.1. La distancia Wasserstein 
3.4.2. Continuidad de Lipschitz
3.4.3. Conseguir que f sea 1-Lipschitz 
3.4.4. Muestras generadas por WGAN-SN original 
3.5. GAN Condicional
3.5.1. Normalización por Lotes Condicional 
3.6. GAN de Auto-atención 
3.6.1. Capas de Auto-atención en SAGAN 
3.6.2. Comentarios finales sobre SAGAN 
3.6.3. Muestras generadas por SAGAN original 
3.7. BigGAN
3.7.1. Muestras generadas por BigGAN original
3.8. GAN para Aumento de Datos
3.8.1. Muestras generadas por DAGAN original
3.9. Métricas de evaluación en GANs 
3.9.1. Puntuación Inception (IS)
3.9.2. Distancia Inception de Fréchet (FID) 
3.9.3. Prueba de la paradoja del cumpleaños en GANs

4. Lengua de Señas
4.1. Clasificación de gestos 
4.2. Conjunto de datos de lengua de señas
4.2.1. LSA64
4.2.2. ASL Finger Spelling Dataset 
4.2.3. RWTH-PHOENIX-Weather 
4.3. Estado del arte

5. Experimentos
5.1. GANs en LSA16
5.1.1. GAN Básica 
5.1.2. WCGAN en LSA16 
5.1.3. BigGAN en LSA16
5.1.4. Agunos comentarios sobre DAGAN en LSA16
5.2. GANS en ASL Finger Spelling 
5.2.1. WCGAN en ASL
5.2.2. BigGAN en ASL
5.2.3. DAGAN en ASL
5.3. Discusión 

6. Conclusiones y trabajos futuros
6.1. Conclusiones 
6.2. Trabajos futuros

Bibliografı́a