Reconocimiento de Lengua de Señas con redes neuronales recurrentes

Título:

Reconocimiento de Lengua de Señas con redes neuronales recurrentes

Autor:

Mindlin, Iván

Otros autores / Colaboradores:

 Ronchetti, Franco; [ Director/a] 

Temas:

REDES NEURONALES; APRENDIZAJE AUTOMÁTICO; 

URL:

http://sedici.unlp.edu.ar/handle/10915/129853,

Palabras clave:

redes convolucionales, lengua de señas, 

Nota de tesis:

Tesina (Licenciatura en Informática) - Universidad Nacional de La Plata. Facultad de Informática, 2021.

Extensión:

1 archivo (9,3 MB) : il. col.

Resumen:

El reconocimiento automático de lenguas de señas apunta a convertir señas capturadas por video a texto, en un lenguaje escrito dado. Esto lo hace un área de importancia que puede hacer una contribución significativa en reducir la brecha entre la comunidades sordas y no sordas. Típicamente consiste en un pipeline de tareas que comienzan con el reconocimiento de la forma de las manos de quien señala, su movimiento y posición, la forma de los labios y expresiones faciales, además del trasfondo, en cada frame del video. Luego, las señas en el video deben ser clasificadas y traducidas al lenguaje escrito, como español o inglés. En esta Tesis se desarrollan modelos de reconocimiento de lenguas de señas basados en técnicas de aprendizaje automático profundo (Deep Learning) para clasificar las señas de la base de datos LSA64 (Lengua de Señas Argentina 64). Esta forma de aprendizaje automático se ha incorporado ha diversas áreas, y reconocimiento de lenguas de señas no es una excepción. Ha hecho grandes cambios en las metodologías propias del área, tal como el pipeline descrito en el párrafo anterior, al punto de dominar el estado del arte. Algunas de estas técnicas son muy sofisticadas con un alto costo computacional. El desarrollo de esta Tesis consiste en una revisión de la técnicas más aceptadas de Deep Learning con la base LSA64 para comprender efectivamente cuáles son necesarias para la tarea, y evaluar la funcionalidad de LSA64 dentro del estado del arte en bases de datos de lenguas de señas. Este desarrollo llevó a la presentación de un artículo para las Jornadas de Cloud Computing, Big Data and Emerging Topics 2021

Puede solicitar más fácilmente el ejemplar con: TES 21/27