Segmentación de manos basada en redes neuronales

Título:

Segmentación de manos basada en redes neuronales: su uso en un sistema embebido para control de TV

Autor:

Luna Gennari, Carla Elizabeth

Otros autores / Colaboradores:

 Lanzarini, Laura Cristina; [ Director/a]  Estrebou, César Armando; [ Codirector/a] 

Temas:

SEGMENTACIÓN; REDES NEURONALES; SISTEMAS EMBEBIDOS; 

URL:

,

Palabras clave:

segmentación de manos, 

Nota de tesis:

Tesina (Licenciatura en Sistemas) - Universidad Nacional de La Plata. Facultad de Informática, 2017.

Extensión:

110 p.  : il. col. +  1 CD-ROM

Resumen:

Una interfaz hombre-máquina juega un papel importante a la hora de transmitir una intención de un usuario a un dispositivo. Hoy en día, la solución basada en visión ha estado atrayendo mucha atención, ya que no requiere sensores de fijación en el cuerpo. En la actualidad, el reconocimiento de gestos hechos con las manos se ha convertido en un tema de sumo interés por parte de investigadores que trabajan en áreas muy diferentes como por ejemplo realidad aumentada, control de dispositivos o reconocimiento del lenguaje de señas Argentino entre otras. Se trata de un problema formado por dos partes perfectamente diferenciadas. La primera de ellas es la encargada de segmentar las manos y la segunda se ocupa de la caracterización y reconocimiento del gesto. Ambas presentan diferentes niveles de complejidad según el tipo de cámara que se utilice así como la cantidad y el tipo de gestos a reconocer. Las personas están acostumbradas a utilizar dispositivos de hardware específicos como por ejemplo controles remotos, teclados, mouses o joysticks, para controlar distintos aparatos electrónicos. Incluso, algunos celulares pueden utilizarse como control remoto de electrodomésticos tales como televisores, aires acondiciones, etc. Más allá de la amplia gama de opciones, tener la posibilidad de manejar los dispositivos con el sólo movimiento de las manos, sin necesitar estos objetos, representa un avance tecnológico importante y significativo para muchas personas. Aunque ya existen diversos estudios sobre este tema, el problema no está totalmente resuelto. Resolver la problemática de traducir los gestos a instrucciones ejecutables por un aparato electrónico resulta muy útil en diversos aspectos, no solo para eliminar hardware en algunos tipos de dispositivos sino también para personas con movilidad reducida que podrían operar distintos artefactos sin necesidad de desplazarse. Dado que el reconocimiento de gestos hechos con las manos es un tema de mucha importancia y conociendo que existen varios trabajos al respecto, la motivación principal de esta tesina es lograr realizar el reconocimiento de una manera simple y con elementos de bajo costo. Por ello la captura del gesto hecho con las manos se realizará utilizando una cámara de vídeo convencional y la señal correspondiente al comando identificado será transmitida de manera infrarroja.

Puede solicitar más fácilmente el ejemplar con: TES 17/43

1 Reconocimiento de Gestos 
1.1 Introducción 
1.2 Qué son los gestos 
1.3 Clasificación de los Gestos
1.3.1 Clasificación de Efrón 
1.3.2 Clasificación de Kendon 
1.3.3 Clasificación de Mc Neill 
1.4 Clasificaciones más recientes 
1.4.1 Wexelblat 
1.4.2 Karam 
1.5 Taxonomía de los gestos 
1.6 Clasificación de gestos en HCI 
1.6.1 Clasificación para su reconocimiento 
1.6.2 Interfaces Touchless 
1.6.3 Dispositivos de entrada 
1.6.4 Algoritmos 
1.7 Conclusión

2 Visión computacional 
2.1 Introducción
2.2 Conceptos básicos 
2.3 Imágenes digitales 
2.3.1 RGB 
2.3.2 Matiz, Saturación, Intensidad 
2.3.3 Tonalidad, Saturación, Luminosidad, TSL (Tint, Saturation, Lightness)
2.3.4 YCbCr 
2.3.5 CIE-Lab 
2.3.6 Comparación de los sistemas de color 
2.4 Procesamiento de Imágenes 
2.4.1 Filtros de dominio de frecuencia 
2.4.2 Filtros Espaciales 
2.4.3 Morfología de la Imagen 
2.4.4 Ruidos
2.5 Segmentación de objetos 
2.5.1 Descriptores 
2.6 Conclusión

3 Segmentación de Manos 
3.1 Introducción 
3.2 Comunicación hombre-maquina 
3.3 Productos utilizados para reconocer gestos 
3.3.1 Kinect- Microsoft 
3.3.2 RealSense- Intel 
3.3.3 Leap-Motion 
3.4 Experiencias en segmentación de manos
3.4.1 Marcadores 
3.4.2 Clasificación para lenguaje de señas 
3.4.3 Reconocimiento del alfabeto 
3.5 Conclusión

4 Redes Neuronales 
4.1 Introducción .
4.2 Redes neuronales biológicas 
4.2.1 Redes neuronales artificiales 
4.2.2 Perceptrón 
4.2.3 Redes Feedforward 
4.3 Red neuronal Energía Coulombica Restringida (RCE) 
4.3.1 Arquitectura 
4.3.2 Entrenamiento de la red 
4.3.3 Clasificación 
4.4 Limitaciones 
4.5 Conclusión

5 Aplicación en control de TV 
5.1 Introducción 
5.2 Parte Uno - Hardware 
5.2.1 Análisis de posibles soluciones 
5.2.2 Integración 
5.2.3 Construcción del prototipo 
5.3 Parte dos - Software 
5.4 Software para Reconocimiento de Gestos 
5.4.1 Adquisición 
5.4.2 Segmentación 
5.4.3 Extracción de características 
5.4.4 Detección del gesto 
5.4.5 Ejecución de Acción 
5.5 Pruebas/Resultados 
5.5.1 Sistemas de Color y Red Neuronal RCE 
5.5.2 Reconocimiento de Gestos 
5.6 Conclusión

6 Conclusiones y trabajos futuros 
6.1 Conclusiones generales 
6.2 Líneas de trabajo futuras

A Anexo A - Protocolo de Control Remoto Infrarrojo 

Bibliografía