Comme évoqué dans un précédent article sur la motion capture et le fingertracking, la capture du mouvement permet de numériser les gestes effectués par l’apprenant pendant la simulation. La captation des gestes en réalité virtuelle présente plusieurs avantages, et notamment, une expérience plus immersive. En effet, les utilisateurs peuvent utiliser leurs mains et leur corps pour interagir avec le monde virtuel. Ils se déplacent librement dans l’environnement virtuel, sans être limités par des manettes. Les interactions avec les objets virtuels se font de manière plus naturelle avec des gestes similaires à ceux du monde réel et la captation permet de suivre les mouvements des mains et des doigts avec une grande précision, ce qui laisse la place à la finesse et à la subtilité. On comprend dès lors pourquoi de nombreux acteurs s’y intéressent et la font progresser.
Autrefois fastidieuse à mettre en œuvre ou réservée à des studios équipés d’un matériel de pointe, la motion capture devient plus accessible et plus légère grâce aux nouvelles solutions proposées.
La gestuelle des mains
Après avoir découvert les gants haptiques de Senseglove au salon 2022, notre attention s’est portée, cette année, sur les Metagloves de Manus Meta.
Gants de Manus Meta – Quantum Metagloves (5,999 €)
L’avis de nos testeurs :
Pratiques, les gants se calibrent facilement à la taille des mains de l’utilisateur. La capture des mouvements du squelette des doigts (fingertracking) a semblé d’une grande précision. En revanche, le test s’est effectué avec un seul gant, il n’a pas été possible de bénéficier d’une démonstration en immersion VR impliquant les 2 mains. Ainsi, quelques doutes subsistent quant à la précision de la localisation 3D dans l’espace des mains l’une par rapport à l’autre ou encore par rapport au casque de réalité virtuel
La technologie est néanmoins mature et dispose désormais d’un niveau de validation suffisant pour intégrer des simulateurs de manière fiable. Elle s’interface par ailleurs parfaitement à Unity via un plugin.
En définitive, elle convient à des usages dédiés pour lesquels l’analyse de gestes délicats des doigts est requis (artisanat d’art, chirurgie, contrôle qualité industriel tactile…). Toutefois, la simplicité d’usage pourrait certainement encore être améliorée (temps d’équipement notamment) et le coût reste encore rédhibitoire pour une adoption massive.
Pour les cas d’usage requérant une capture des doigts basique dans le champ de vision et sans chercher la précision millimétrique, le fingertracking proposé directement à partir des caméras des casques pourra pour l’instant s’avérer bien suffisant. Cela permettra également de garder un setup plus simple.
Analyse des mouvements du corps en immersion
Les systèmes traditionnels optoélectroniques (Vicon, Qualisys, …) de motion capture constituent encore la référence en termes de précision. En revanche, ils demeurent trop lourds et onéreux pour être mis en place dans un dispositif d’immersive learning.
Les combinaisons munies de centrales inertielles se sont donc progressivement imposées comme une solution plus légère. A titre d’illustration, le constructeur Movella (avec sa solution X-Sens bien connue) était à nouveau représenté à Laval cette année. Sa solution nécessite néanmoins toujours un investissement financier conséquent et requiert une certaine expertise pour être mise en œuvre dans de bonnes conditions.
Mais ce secteur n’a toutefois pas été épargné par la révolution de l’IA. Le hall des startups du salon accueillait la société move.ai avec ses technologies capables de mesurer les mouvements du corps entier à partir de simples caméras vidéo. Et ce, même à partir d’une caméra de smartphone, le tout sans capteur ou marqueur additionnel.
Cette solution, extrêmement facile à déployer, n’offre pas tout de suite une haute précision, mais elle est déjà bien suffisante pour analyser le corps dans son ensemble et sa posture. Elle peut permettre par exemple de capturer les mouvements et les gestes de l’apprenant dans l’environnement virtuel et d’utiliser les données, en temps réel, pour fournir des commentaires et des conseils. Cela peut aider les apprenants à améliorer leur performance en leur permettant de voir leurs mouvements et de les comparer à des modèles de mouvements corrects. En outre, elle peut permettre une analyse détaillée de l’évolution de la performance de l’apprenant ce qui peut être utile pour son évaluation. La motion capture contribue à rendre l’apprentissage plus interactif, plus engageant et plus efficace.
Un cas d’usage vient par exemple immédiatement à l’esprit : sensibiliser aux risques de TMS (troubles musculo-squelettiques) lors d’opérations de manutention.
