Les mains nues, longtemps présentées comme l'avenir naturel de la réalité virtuelle, ne remplacent pas encore les manettes. C'est, en substance, le message que Meta a adressé aux développeurs le 29 octobre, dans un guide détaillé que rapporte le site spécialisé MIXED News. Le document précise pour quels types d'interactions le suivi des mains suffit et pour lesquels les manettes restent la meilleure option.
Le sujet dépasse la simple querelle d'accessoires. Il touche à une question centrale de la communication homme-machine : jusqu'où peut-on se passer d'un intermédiaire physique entre l'intention d'une personne et la réponse d'un système informatique?
Ce que Meta a dit aux développeurs
Selon MIXED News, les consignes de Meta distinguent les interactions qui conviennent bien aux mains nues de celles qui profitent encore des manettes. Trois cas sont explicitement cités : la visée rapide, les commandes simultanées et les mouvements qui se produisent en dehors de la zone couverte par le suivi des mains.
Ces trois cas ne sont pas choisis au hasard. Ils correspondent aux limites techniques du suivi des mains tel qu'il est mis en œuvre aujourd'hui dans les casques grand public.
Le premier tient à la précision et à la latence. Un jeu de tir où l'on doit viser vite demande un point de référence stable et un retour immédiat. Une manette offre une position et une orientation fiables, ainsi qu'une gâchette dont la course et la résistance communiquent à la main que l'action a bien été enregistrée. Une main nue, elle, doit être reconnue par des caméras, interprétée par un algorithme, puis traduite en geste. Chaque étape ajoute une fraction de seconde et une marge d'erreur.
Le deuxième cas, les commandes simultanées, relève de l'ergonomie. Se déplacer, viser, recharger et changer d'arme en même temps suppose de multiplier les entrées. Une manette dispose de joysticks, de boutons et de gâchettes que l'on actionne sans y penser. Avec les mains seules, il faut recourir à des gestes codifiés, plus coûteux à apprendre et plus difficiles à enchaîner sans erreur.
Le troisième cas est plus prosaïque, mais il est décisif : les caméras d'un casque ne voient que ce qui se trouve devant elles. Dès qu'une main passe derrière le dos, tombe le long du corps ou sort du champ de vision, le suivi la perd. Une manette, elle, est suivie autrement et continue de fonctionner dans ces situations.
Une position qui s'inscrit dans la durée
Le guide d'octobre prolonge une position que Meta avait déjà exprimée en septembre, toujours d'après MIXED News. L'entreprise y indiquait que ses prochaines lunettes de réalité virtuelle, appelées VR Glasses, prendraient en charge les manettes Touch Plus, vendues séparément, et que le déplacement et le tir à la manette demeureraient des usages à privilégier.
Cette précision a une portée commerciale. Si les manettes ne sont pas livrées avec l'appareil, les développeurs doivent décider s'ils conçoivent leurs jeux pour les mains seules, pour les manettes, ou pour les deux. Le guide de Meta leur donne des critères pour trancher : un jeu qui repose sur la visée rapide ou sur de nombreuses commandes simultanées gagnera à exiger ou à recommander les manettes; un jeu de contemplation, de puzzle ou de manipulation d'objets pourra s'en passer.
Ce genre de recommandation structure un écosystème. Les développeurs indépendants, qui n'ont pas les moyens de concevoir deux schémas de contrôle complets, se fient souvent aux conseils du fabricant pour choisir leur cible. Dire clairement que les mains ne suffisent pas pour certains genres, c'est aussi dire où ne pas investir inutilement.
Pourquoi les manettes tiennent encore bon
Le constat de Meta rejoint ce que montrent les travaux de recherche sur les interfaces gestuelles : un geste dans le vide n'offre aucune résistance physique, donc aucun retour tactile. Or ce retour est précisément ce qui permet de savoir, sans regarder, qu'une action a été prise en compte. Une gâchette que l'on presse, un bouton que l'on sent sous le doigt, une vibration qui confirme un impact : ce sont des signaux que le suivi optique des mains ne sait pas reproduire.
La recherche explore d'ailleurs des pistes pour combler cet écart. Une équipe a présenté sur arXiv un gant baptisé Tactus, qui combine la mesure des forces de contact aux bouts des doigts et le suivi de la posture de la main, en particulier lorsque les caméras perdent la main de vue. Son objectif premier est de collecter des démonstrations de manipulation fine pour entraîner des robots, mais il illustre le même problème de fond : suivre une main avec précision, y compris quand elle est cachée, reste difficile sans capteurs portés sur le corps.
Les limites ne concernent pas que les mains. Une évaluation parue sur arXiv compare la qualité du suivi oculaire de trois casques, le Meta Quest Pro et deux modèles de HTC, avec trente participants. Les erreurs mesurées varient d'un appareil à l'autre, ce qui rappelle que les capteurs d'interaction naturelle, qu'ils suivent les mains ou les yeux, n'ont pas atteint une fiabilité uniforme.
Le reste de l'écosystème avance en ordre dispersé
L'actualité de la semaine montre que l'industrie ne parie pas sur une seule méthode. Du côté de Valve, la plateforme sociale Resonite reconnaît désormais les manettes du casque Steam Frame et gère son suivi oculaire pour la diffusion de réalité virtuelle depuis un ordinateur, rapporte MIXED News. Le logiciel continue de fonctionner sur le PC; une version autonome sur le casque demande encore du travail, selon ses développeurs.
Dans le jeu de course RaceRoom, une mise à jour du 28 octobre ajoute un rendu fovéal : le détail est réduit en périphérie pour soulager le processeur graphique, tandis que le centre de l'image reste net. Le studio KW Studios précise que l'option fonctionne avec tout casque compatible OpenXR, sans logiciel supplémentaire, et que la zone nette suit la tête et non les yeux. Elle ne requiert donc pas de suivi oculaire. C'est un bon exemple de contournement : plutôt que d'attendre un capteur qui n'équipe pas tous les casques, on adapte la technique au matériel le plus répandu.
Le marché, lui, continue de produire des jeux conçus pour les manettes. Le jeu de tir Exoshock vient de sortir en accès anticipé sur Quest 3 et sur PC, selon UploadVR, un genre qui illustre précisément le cas de figure que décrit le guide de Meta.
Le casque de luxe d'Apple, le Vision Pro, a choisi la voie inverse en misant sur les yeux et les mains. Une étude publiée sur arXiv passe en revue la littérature de recherche accumulée depuis son arrivée sur le marché en février 2024, dans des domaines allant de la chirurgie à l'éducation en passant par l'accessibilité. Elle montre que cette approche sans manette a trouvé ses usages, mais surtout dans des contextes où la précision de visée et la rapidité d'exécution ne sont pas l'enjeu principal.
Ce que cela change pour la conception des interactions
Le message de Meta n'est pas un recul sur le suivi des mains, qui progresse et qui présente de vrais avantages : aucun accessoire à charger, aucune manette à égarer, une prise en main immédiate pour les nouveaux venus. Il s'agit plutôt d'une clarification : le choix du mode de contrôle doit découler de la tâche à accomplir, non d'une préférence idéologique pour l'interface la plus « naturelle ».
Cette logique vaut au-delà des jeux. Les formations en réalité virtuelle, les simulations de sécurité ou les outils de conception ont tout intérêt à se demander si leurs utilisateurs ont besoin de précision, de gestes simultanés ou de mouvements hors champ avant de renoncer aux manettes. Dans plusieurs de ces usages, la fiabilité de l'entrée compte davantage que son élégance.
Pour les joueurs, la conséquence est concrète. Les jeux d'action rapide continueront de s'appuyer sur les manettes, et il faudra probablement les acheter en plus si les VR Glasses de Meta sont vendues sans elles. Les jeux plus calmes pourront, eux, se jouer à mains nues. Entre les deux, les développeurs les plus prudents proposeront les deux options.
La vision d'une réalité virtuelle contrôlée uniquement par les gestes reste donc un horizon plutôt qu'un acquis. Tant que les caméras ne voient pas tout et que les doigts ne ressentent rien, la manette demeure l'outil qui réduit l'écart entre l'intention et l'action.