Le projet Sign3D a pour but de créer une gamme d’outils innovants pour permettre l’enregistrement et le traitement de contenu LSF (Langue des Signes Française) . Le challenge est de designer un workflow complet depuis la capture de mouvement (incluant toutes les articulations du haut du corps, les expressions faciales et la direction du regard) à leur restitution en utilisant un signeur virtuel 3D. Nous présentons les challenges majeurs de l'innovation à chaque étape du projet. L’accessibilité aux personnes sourdes à travers le langage des signes est un des buts de ce projet.
Chaque phrase a été enregistrée par un système de motion capture optique combiné avec un oculomètre accroché à la tête. Les marqueurs sont placés sur toute la partie supérieure du signeur, incluant son visage et ses doigts et permettant ainsi une motion capture complète. L’un des challenges de ce processus est de trouver un compromis entre le coût de la motion capture, la précision de mesure (espace et temps), et la spontanéité de la production (si l’équipement mocap est trop intrusif, le signeur ne sera pas capable de signer de façon naturelle). Après la motion capture, l’ensemble des marqueurs est riggé sur le mesh d’un signeur 3D virtuel dans l’optique d’animer à la fois son squelette et son visage… Lire la suite
