3d-cnn Basés Sur Les Squelettes Pour La Reconnaissance De La Langue Des Signes Isolés

Résumé: Ce travail vise à la réalisation d'un système de reconnaissance du la langue des signes à partir d'un ensemble des vidéos ayant un large impact social. Ce système rendra la communication facile entre les sourds-muets et les personnes normales. En revanche, de nombreuses contraintes rendent la réalisation d'un système de reconnaissance précis de vidéos très difficile à réaliser et cela en raison ; La langue des signes qui présente de nombreux détails et caractéristiques due principalement aux grandes variations dans les actions (les gestes sont ambigus, l'environnement, tel que l'arrière-plan peut perturber la reconnaissance, la reconnaissance basée sur la vidéo peut être confrontée à plus de défis le temps de réaction, l'amplitude du mouvement et la qualité vidéo peuvent également affecter la précision). Dans ce travail, nous proposons un système basé sur l'une des approches du réseau de neurones convolutionnels tridimensionnels (3D-CNN). Ce dernier applique un algorithme d'I3D sur deux bases de données RGB et Squelette comme deux entrées, qui extrait automatiquement les caractéristiques des vidéos, capable de détecter les signes isolés et analyser par discrimination les gestes de la langue des signes et leur classification tout en préservant les informations temporelles des séquences des vidéos.

Publié dans la revue: