Reconhecimento de sinais estáticos a partir de informação RGB-D usando um Descritor Kernel.

Abstract

Durante os últimos anos, têm sido desenvolvidas diversas abordagens para o reconhecimento de sinais. Muitas delas baseadas somente em informação de intensidade, o que tornava o pré-processamento mais complexo. Devido ao avanço da tecnologia, têm sido desenvolvidos novos dispositivos para a obtenção de informação mais complexa, além da informação de intensidade também é fornecida informação de profundidade e localização. O sensor Kinect é um deles e foi criado no ano de 2010. Com esse dispositivo, é possível obter dois tipos de informações: intensidade e profundidade. Isso significa uma vantagem quando se quer desenvolver um modelo para reconhecimento de sinais. Como já foi dito, usar somente informação de intensidade, que é o mais usual, implica ter processos mais complexos e algumas vezes imprecisos. Para solucionar isso, é possível usar informação de profundidade que, além de conter informação da mão, facilita o pré-processamento. Nesta dissertação apresentamos um modelo para o reconhecimento de sinais estáticos, usando informação de intensidade e profundidade (RGB-D) de cada sinal. As imagens de intensidade oferecem informação visual do sinal. Enquanto que as imagens de profundidade permitem obter informação da forma da mão com a qual é executado o sinal. Além disso, usando este último tipo de imagem, o processo de segmentação é facilitado. Uma avaliação entre o descritor local SIFT e o descritor kernel gradiente foi realizada na etapa de extração de características. A partir das características obtidas, foi extraída informação semântica usando a técnica BoW (Bag-of-Words), para então finalmente classificar os sinais usando SVM (Support Vector Machine). Os resultados reportados nesta dissertação se mostraram superiores a outros modelos da literatura. Foi alcançado um incremento na acurácia de 20%, sendo o melhor resultado de 95,63% de acurácia média, isso demonstra que o modelo proposto é promissor no reconhecimento de sinais.