Dans le cadre de nos divers développements, nous avions besoin d’animer des personnages virtuelles ainsi que de leurs donner vies avec une voix propre. Une possibilité était de les animer image par image dans un logiciel 3D comme Blender. Cela prend du temps et cela n’est pas forcément aussi naturel que la réalité.
Une deuxième possibilité est d’utiliser un studio d’enregistrement des mouvements ou “Motion capture” en anglais. Cela se fait traditionnellement à l’aide de multiples caméras qui suivent des points précis placés sur le corps de l’animateur.
Cette façon de faire à le mérite d’être de très bonne qualité mais demande une lourde infrastructure et beaucoup de temps de traitement des images.
Chez EnginXr, nous voulions avoir la possibilité d’animer simplement nos personnages virtuels tout en enregistrant la voix de l’animateur. Compte tenu de nos besoins, les 2 méthodes présentées ci-dessus n’étaient pas adéquate.
Pour réaliser un studio de “motion capture” efficace, dans la limite de nos infrastructures et rapidement, nous avons utilisé le casque de réalité virtuelle Oculus Quest comme base de capture de mouvement.
Nous avons créer pour cela une petite application ludique qui permet en un simple clic d’enregistrer les positions des mains, de la tête ainsi que le microphone du casque. Ces données sont ensuite envoyées en temps réel à un serveur connecté à internet.
Dans l’éditeur Unity, nous avons créer une petite extension permettant de se connecter au serveur internet et récupérer en temps réel le flux d’informations et ainsi créer nos animations de personnages 3D avec la voix correspondante.
