Ce que l'usager ne verra jamais
Quand un fabricant promet un casque « sans manette », il vend un geste : la main qui pince, qui pointe, qui saisit un objet virtuel. Ce que la démonstration ne montre pas, c'est la chaîne de calcul qui rend ce geste lisible. Il faut d'abord savoir où se trouve la caméra dans l'espace, puis où se trouvent les mains par rapport à cette caméra, puis convertir tout cela en coordonnées stables du monde réel — sinon un pincement effectué en marchant ou en tournant la tête devient un signal illisible.
Deux dépôts récents sur arXiv, la plateforme de prépublication scientifique, éclairent précisément cette couche intermédiaire. Le premier présente MINT, un modèle décrit par ses auteurs comme unifié, capable d'estimer conjointement le mouvement de la caméra et celui des mains en coordonnées monde à partir d'une simple vidéo égocentrique — c'est-à-dire filmée du point de vue de la personne. Le second, une version révisée d'un travail sur la compression vidéo apprise pour le 360 degrés, s'attaque à un problème apparemment sans lien : le choix de la projection utilisée pour aplatir une sphère en image rectangulaire.
Ces deux chantiers ne parlent pas de la même chose, mais ils occupent le même étage de l'édifice. Celui où se fixent, silencieusement, la précision, la latence et les angles morts de l'interface gestuelle de demain.
MINT : un seul modèle plutôt qu'une cascade
L'approche dominante jusqu'ici consistait à empiler des modules : un pour estimer le déplacement de la caméra (ce qu'on appelle l'odométrie visuelle ou le SLAM), un pour la profondeur, un pour la reconstruction de la main, un dernier pour lisser les trajectoires. Chaque étage ajoute du calcul et propage ses erreurs vers le suivant. Le résumé de MINT décrit exactement ce diagnostic : une décomposition en étapes séparées qui engendre une surcharge computationnelle substantielle.
La proposition consiste à traiter le problème d'un bloc. L'intérêt dépasse largement la réalité mixte : les auteurs citent la compréhension d'activité et l'apprentissage robotique. Cette dernière application n'est pas anecdotique. Des masses de vidéos égocentriques humaines constituent aujourd'hui la matière première la plus abondante pour enseigner à des robots comment des mains manipulent des objets. Encore faut-il traduire ces images en trajectoires exploitables dans un référentiel commun.
Le point le plus révélateur du travail tient toutefois à sa méthode de supervision. Plutôt que de s'appuyer sur des données annotées à la main — coûteuses, rares, lentes à produire — les auteurs mobilisent un pipeline égocentrique automatisé pour générer l'encadrement d'entraînement à grande échelle. C'est un arbitrage classique en apprentissage machine : on échange la qualité contrôlée d'une annotation humaine contre le volume. Ce choix a des conséquences directes. Ce qu'un pipeline automatique sait bien mesurer devient ce que le modèle apprend bien. Ce qu'il rate devient l'angle mort du produit final.
La projection, ce paramètre qui décide de tout
Le second travail semble éloigné du geste. Il ne l'est pas. Une captation immersive à 360 degrés produit un contenu sphérique, or aucun codec vidéo conventionnel ne sait traiter une sphère. Il faut donc projeter sur un plan. Le résumé le dit sans détour : le choix de projection affecte la continuité spatiale, l'uniformité d'échantillonnage, l'estimation de mouvement et la compression.
Traduction concrète : selon la projection retenue — équirectangulaire, cubemap, ou une variante — certaines zones de l'image sont sur-échantillonnées et d'autres étirées ou dégradées. Les pôles de la projection équirectangulaire sont notoirement déformés. Or dans une vidéo égocentrique, la région basse du champ de vision est précisément là où se trouvent les mains la majeure partie du temps. Un encodage qui sacrifie cette zone dégrade l'estimation de mouvement là où elle compte le plus. La compression n'est jamais neutre : elle décide de ce qui restera visible pour le modèle en aval.
Les deux textes désignent ainsi la même vérité : la promesse de l'interface gestuelle est arbitrée en amont, dans des choix d'ingénierie que ni l'usager ni même le développeur d'application ne contrôlent.
Le marché, lui, avance déjà
Pendant que ces questions se règlent dans les laboratoires, le matériel se répand. 01net rapportait récemment que le Meta Quest 3 s'écoulait à prix cassé lors d'une opération promotionnelle, signe d'un appareil désormais en phase de banalisation commerciale plutôt que de nouveauté technologique. Chez Meta, le suivi des mains sans manette est intégré depuis plusieurs générations, avec des mises à jour successives du module de reconnaissance.
Les usages suivent. Le Monde a documenté « Dans les pas d'une étoile », une visite immersive du Palais Garnier réalisée avant la fermeture du lieu pour cinq ans de travaux, où le public suit la danseuse étoile Bleuenn Battistoni du vestiaire à la scène en réalité virtuelle. Un contenu de ce type est justement une captation 360 : la qualité de la projection et de la compression y détermine directement le confort perceptif.
Du côté du jeu, UploadVR signalait la mise à jour du cinquième anniversaire de Puzzling Places, avec casse-têtes hebdomadaires, laissez-passer invité et raffinements de l'intégration en réalité mixte, ainsi que l'annonce de Loony Laps, un jeu de course arcade développé en solo, attendu sur Quest 3 en 2027. Cinq ans d'existence pour un titre de casse-tête en VR, cela mesure la maturité d'un écosystème qui n'est plus expérimental.
Quels corps servent de référence
C'est ici que le dossier devient politique. Un modèle de reconnaissance de la main apprend sur les mains qu'on lui montre. Taille, teinte de peau, port de bagues ou de gants, présence d'un tremblement, amputation partielle, mobilité réduite du poignet : chacune de ces variations peut faire chuter la performance si elle est sous-représentée dans les données d'entraînement.
La littérature sur les biais des systèmes de vision est abondante sur ce point. Les travaux de Joy Buolamwini et Timnit Gebru sur la classification de genre par les systèmes commerciaux avaient établi des écarts de performance considérables selon la teinte de peau et le genre. Le National Institute of Standards and Technology américain, dans son évaluation à grande échelle des algorithmes de reconnaissance faciale, avait documenté des différentiels démographiques marqués selon les groupes. Rien n'indique que l'estimation de pose de main échappe structurellement à cette logique.
S'y ajoute une dimension proprement gestuelle. Un geste n'est pas universel. Les répertoires culturels de désignation, d'acquiescement, de refus varient. Et pour les personnes sourdes et malentendantes du Québec, la question est plus aiguë encore : la Langue des signes québécoise possède sa propre grammaire spatiale, distincte de l'ASL et de la LSF. Un système de suivi de main calibré sur des gestes d'interface anglophones ne sait rien de cette morphologie linguistique.
Ce que les acteurs d'ici peuvent encore peser
L'écosystème québécois n'est pas dépourvu de moyens. Montréal héberge Mila, l'institut québécois d'intelligence artificielle fondé par Yoshua Bengio, ainsi que des laboratoires universitaires actifs en vision par ordinateur et en interaction humain-machine. La Société des arts technologiques, avec sa Satosphère, travaille depuis des années les questions de projection immersive et de captation à 360 degrés. Le milieu du jeu vidéo et des effets visuels dispose d'une expertise de captation de mouvement de premier plan.
La fenêtre d'intervention existe, mais elle se referme. Une fois que les choix d'entraînement et d'encodage sont figés dans des puces dédiées et des systèmes d'exploitation grand public, les corriger devient hors de portée d'un studio ou d'un laboratoire. Avant cela, plusieurs leviers restent accessibles : constituer et documenter des jeux de données gestuelles représentatifs de la diversité corporelle et linguistique d'ici, publier des évaluations indépendantes des taux d'échec par sous-groupe, exiger des fabricants des mesures de performance ventilées plutôt qu'un chiffre global.
Le Québec s'est doté d'une Loi modernisant des dispositions législatives en matière de protection des renseignements personnels — la loi 25 — qui encadre notamment les décisions automatisées et la biométrie. Un flux de suivi de main est une donnée corporelle en continu. La question de savoir ce qui en est conservé, où, et par qui, relève déjà d'un cadre juridique existant.
La leçon
On juge une interface à sa fluidité apparente. Mais cette fluidité est le produit d'une série de compromis invisibles : une supervision générée automatiquement plutôt qu'annotée, une projection choisie pour son taux de compression plutôt que pour la fidélité de la zone où se trouvent les mains, un corpus d'entraînement dont personne ne publie la composition démographique.
MINT et les travaux sur la compression 360 ne sont pas des annonces de produit. Ce sont des indices sur l'endroit où la décision se prend réellement. Pour qui s'intéresse à ce que les machines comprendront de nos gestes dans cinq ans, c'est là qu'il faut regarder — pas dans la vitrine.