Articuli: plataforma de tradução de datilologia com base em visão computacional para formação de palavras
Loading...
Date
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Instituto Federal de Educação, Ciência e Tecnologia do Piauí
Resumo
Este trabalho apresenta o desenvolvimento de uma plataforma chamada ArticuLi, uma aplicação
web responsiva que realiza a formação de palavras a partir de imagens de sinais do alfabeto
datilológico da Língua Brasileira de Sinais (LIBRAS), traduzidos em sequência e com opção de
reprodução em áudio. A ArticuLi utiliza um modelo de Rede Neural Convolucional pré-treinado
com base em um conjunto de dados, o Common Objects in Context (COCO). Através do modelo
são identificados key points, ou seja, pontos-chave que representam as articulações da mão e que
são necessários para estimar a sua pose. Com uso da biblioteca OpenCV, o algoritmo analisa as
coordenadas dos pontos mapeados para descobrir a distância, altura e proximidade entre eles e
chegar a tradução dos sinais sequencialmente para retornar uma palavra. Os testes com o Mínimo
Produto Viável (MVP) foram realizados com imagens fotografadas por 10 voluntários usando
seus smartphones como dispositivo de captura. Com isso, obteve-se um conjunto balanceado
com 5 amostras para cada sinal totalizando 130 imagens. Considerando o número total de
imagens e a quantidade de sinais traduzidos corretamente, incluindo sinais estáticos e dinâmicos,
a plataforma alcançou acurácia de 94,6%, ou seja, das 130 imagens analisadas, 123 foram
traduzidas corretamente onde as letras A, B, C, D, E, G, I, K, L, M, N, O, P, Q, R, S, T, U, V, W
e Y obtiveram 100% de acurácia, as letras F, H, J e Z 80% e X 40% de acurácia, tornando-a apta
a formar palavras.
Description
Keywords
Acessibilidade, Estimativa da Pose da Mão, Libras, Visão Computacional, Tradução
Citation
MESQUITA, Andressa Ribeiro de. Articuli - plataforma de tradução de datilologia com base em visão computacional para formação de palavras. Orientador: Thiago Alves Elias da Silva. 2021. 59 f. Trabalho de Conclusão de Curso (Tecnologia em Análise e Desenvolvimento de Sistemas) - Instituto Federal do Piauí, Campus Teresina Central, Teresina, 2021.