Aplicación móvil traductor de señas para la población sordomuda en Colombia implementando técnicas machine learning, talk to hands

Abstract

Para este proyecto, un sistema que traduce el lenguaje de señas a texto implementando inteligencia artificial, que permita a las personas con discapacidad auditiva que su única fuente de comunicación sea las señas puedan hablar con el resto de personas que no manejen este tipo de lenguaje. El sistema requiere la imagen que luego pasa por el procesamiento de imágenes digitales y que finalmente realiza la traducción. El programa fue desarrollado en React native para el frontend, Python para el backend y la librería de TensorFlow que nos proporciona el kit de herramientas de inteligencia artificial con el reconocimiento de objetos que personalizamos para que reconociera el dataset con el banco de señas creado por el equipo. Para el desarrollo del dataset se utilizó el software LabelImg que nos proporciona eliminar el ruido alrededor de las imágenes y solo concentrarse en las señas. En la actualidad la tecnología que se ha desarrollado en los últimos años nos ha facilitado una gran cantidad de información tanto en calidad como en cantidad. La disponibilidad y facilidad de acceso a esta, ha facilitado las formas de innovar y la toma de decisiones de pequeños o grandes proyectos. Aunque existan estas alternativas actualmente, las personas con esta discapacidad aún dependen de que las demás personas manejen el lenguaje de señas para poder interactuar con ellas, es decir, si las demás personas no manejan este lenguaje de igual forma no podrán interactuar ni establecer comunicación de manera independiente, por esta razón sería conveniente sistematizar este proceso con el fin de permitir la comunicación entre las personas con discapacidad y las personas sin discapacidad independientemente de que conozca o no el lenguaje de señas

For this project, a system that translates sign language into text by implementing artificial intelligence, which allows people with hearing disabilities to speak with other people who do not use this type of language, so that their only source of communication is signs. The system requires the image which then goes through digital image processing and finally performs the translation. The program was developed in React native for the frontend, Python for the backend and the TensorFlow library that provides us with the artificial intelligence toolkit with object recognition that we customize so that it recognizes the dataset with the bank of signs created by the user. equipment. For the development of the dataset, the LabelImg software was used, which allows us to eliminate the noise around the images and only concentrate on the signs. At present, the technology that has been developed in recent years has provided us with a large amount of information, both in quality and quantity. The availability and ease of access to it has facilitated the ways of innovating and making decisions for small or large projects. Although these alternatives currently exist, people with this disability still depend on other people to handle sign language to be able to interact with them, that is, if other people do not handle this language in the same way they will not be able to interact or establish communication independently, for this reason it would be convenient to systematize this process in order to allow communication between people with disabilities and people without disabilities regardless of whether or not they know sign language