Le même dossier, quatre laboratoires
À première vue, rien ne relie une mise à jour de jeu de golf en réalité virtuelle, deux articles d'informatique déposés sur arXiv et une expérience de robotique collective. Pourtant, ces quatre travaux racontent la même histoire : celle du périphérique d'entrée qui cesse d'être un objet qu'on tient pour devenir une propriété de l'environnement.
Le cas le plus grand public vient de Golf+, l'application de golf la plus jouée sur les casques Meta. Comme l'a rapporté UploadVR, le studio a introduit une fonction de putting en réalité mixte sur Quest 3 et Quest 3S : au lieu d'agiter une manette lestée d'un accessoire en plastique, vous prenez votre véritable putter, vous vous placez devant un tapis réel dans votre sous-sol, et le casque superpose le vert virtuel à votre plancher. Le geste n'est plus simulé, il est exécuté. Avec, précise le média spécialisé, des réserves notables : conditions d'éclairage, exigences d'espace et suivi encore perfectible.
En parallèle, la section interaction humain-machine d'arXiv a vu passer deux projets convergents. OriFeel propose de transformer des surfaces ambiantes — une table, un dossier de chaise, un appui-bras — en interfaces tactiles, non pas en les tapissant d'actionneurs, mais en exploitant le pliage de surfaces inspiré de l'origami. MotionQ, de son côté, attaque la reconnaissance de gestes par signal WiFi : aucun capteur porté, aucune caméra, seulement les perturbations des ondes radio dans une pièce. Et du côté robotique, une équipe explore le croquis à main levée comme langage de programmation pour des essaims de robots : vous dessinez une forme, l'essaim en extrait les points de formation et s'y déploie.
Quatre approches, un même pari : l'interface la plus naturelle est celle qui n'existe pas comme objet distinct.
Verrou numéro un : suivre ce qui n'est pas instrumenté
La manette de Quest est bourrée de capteurs inertiels et, selon les générations, d'anneaux lumineux ou d'aimants. Un putter, lui, ne dit rien de lui-même. Il faut donc que le casque le devine à partir de ses caméras : forme, position, vitesse au moment de l'impact. Or le putting est justement le geste de golf le moins tolérant à l'erreur — quelques millimètres de face de club mal orientée changent la trajectoire, et quelques millisecondes de retard dans le suivi désynchronisent complètement le ressenti du joueur.
C'est là que le bât blesse dans les premières impressions relayées par UploadVR : le suivi d'objets non instrumentés reste tributaire de l'éclairage, de l'angle de vue et des occlusions. Quand vos mains, votre corps et le tapis masquent partiellement le club, le système doit interpoler. En réalité mixte, l'erreur ne passe pas inaperçue : contrairement à la VR complète, où votre cerveau accepte un monde entièrement synthétique, la réalité mixte confronte en permanence le rendu virtuel à la vérité physique que vous voyez autour. La moindre dérive saute aux yeux.
Ce verrou explique aussi pourquoi l'industrie du matériel bouge dans deux directions à la fois. D'un côté, les fuites autour du prochain casque de Meta — un appareil mince, connu sous le nom de code Project Phoenix, dont des visuels ont été repérés dans le micrologiciel d'Horizon OS par UploadVR et repris par The Verge, Engadget et Road to VR — suggèrent un format léger relié à un boîtier de calcul externe. Autrement dit : moins de matériel sur le visage, plus de traitement déporté. De l'autre, on voit Apple avancer prudemment : UploadVR souligne que même un appareil à deux caméras arrière ne semble pas nécessairement capable de capter photos et vidéos spatiales exploitables sur Vision Pro. La captation fine du réel demeure un problème difficile, pas un acquis.
Verrou numéro deux : l'haptique sans grappe d'actionneurs
Abandonner la manette, c'est aussi abandonner son moteur de vibration. Et le retour tactile n'est pas un luxe : c'est lui qui ferme la boucle perceptive et vous confirme que votre geste a produit un effet.
La réponse classique consiste à multiplier les actionneurs sur une surface, ce qui coûte cher, consomme de l'énergie et interdit tout déploiement à grande échelle sur du mobilier ordinaire. L'approche d'OriFeel renverse la logique : plutôt que d'ajouter de la mécanique, elle exploite la géométrie. En pliant une surface selon des motifs d'origami, on module localement sa rigidité et sa réponse au toucher, ce qui permet de faire émerger des sensations différenciées avec une mécanique frugale.
L'idée est élégante, mais elle déplace le problème plutôt qu'elle ne l'élimine. Une surface pliée est une surface contrainte : ses possibilités tactiles sont inscrites dans sa structure physique, donc partiellement figées. Là où une grappe d'actionneurs offre une reprogrammabilité totale, une géométrie repliée offre une palette plus étroite, mais reproductible et bon marché. C'est le compromis fondamental de toute interface ambiante : la richesse contre l'ubiquité.
Verrou numéro trois : le modèle qui s'effondre quand le décor change
Le troisième obstacle est le plus insidieux, et MotionQ le nomme avec précision. La reconnaissance de gestes par WiFi fonctionne très bien en déploiement fixe : on entraîne un modèle dans une pièce donnée, avec des émetteurs-récepteurs à des positions données, et les performances impressionnent. Changez l'orientation de l'usager, retirez un lien radio, déplacez un routeur — et la précision chute.
La contribution conceptuelle est importante : il ne s'agit pas d'un simple glissement de domaine, comme lorsqu'un modèle de vision doit s'adapter à un nouvel éclairage. Ici, c'est l'opérateur d'observation lui-même qui change. Le même mouvement physique produit légitimement des mesures différentes. Chercher une représentation invariante au domaine — la recette habituelle — revient donc à effacer de l'information physiquement pertinente. MotionQ propose plutôt de conditionner la représentation sur l'opérateur, c'est-à-dire de tenir compte explicitement de la configuration de captation.
Ce verrou frappe les quatre projets. Le putter suivi dépend de la lumière du salon. La surface pliée dépend de la façon dont on y pose la main. Le croquis d'essaim dépend de l'échelle et du repère implicite que l'usager attribue à son dessin : un rond tracé sur une tablette veut-il dire « un cercle de trois mètres » ou « un cercle qui remplit la pièce »? Toute interface ambiante hérite de l'ambiguïté du contexte qu'elle prétend habiter.
Accessibilité : la promesse la plus solide
C'est probablement là que ces travaux tiennent leur meilleure justification. Une manette VR exige préhension, dextérité fine et force de pression — autant d'exigences excluantes. Un geste dans l'air capté par le WiFi n'exige rien à porter, rien à charger, rien à tenir. Un croquis à main levée permet à une personne non experte de commander un collectif de robots sans écrire une ligne de code : la recherche sur les essaims insiste précisément sur l'accès des usagers non spécialistes.
Le champ de l'interface sans manette avance aussi du côté médical : un article récent sur les épelleurs P300, ces interfaces cerveau-ordinateur destinées aux personnes ayant des atteintes motrices sévères, rappelle une leçon transposable — empiler les composantes prometteuses ne garantit pas de meilleurs résultats, et peut même produire de l'anti-synergie. Autrement dit, la sophistication n'est pas l'accessibilité.
Et la demande culturelle existe. Le Guardian a rendu compte de Playing With Fire, installation en réalité virtuelle au Southbank Centre de Londres où l'avatar de la pianiste Yuja Wang joue Ravel, Debussy, Prokofiev et Liszt au cœur de mondes oniriques. Ce type d'œuvre fonctionne d'autant mieux que le spectateur oublie son équipement.
Vie privée : un capteur qui lit vos gestes lit tout le reste
Voilà le revers, et il est majeur. Un capteur ambiant n'a pas d'interrupteur perceptible. Quand votre réseau WiFi devient un instrument de mesure du corps humain, il ne distingue pas le geste de commande du reste : votre présence, votre démarche, votre rythme respiratoire, le nombre de personnes dans la pièce, l'heure à laquelle vous rentrez. La détection de mouvement par ondes radio traverse les murs et ne s'annonce pas par une diode rouge.
La manette, malgré ses défauts, avait une vertu démocratique : elle était un consentement matérialisé. La prendre, c'était entrer dans le système; la déposer, c'était en sortir. Une table tactile, un club suivi par caméras de passthrough, un routeur qui lit les gestes effacent cette frontière. Et les casques de réalité mixte captent déjà en continu la géométrie de votre domicile pour y ancrer le virtuel — un vert de golf superposé à votre plancher suppose une carte de ce plancher.
La question que ces quatre recherches posent ensemble n'est donc pas technique mais politique : si l'interface idéale est celle qui disparaît, comment garde-t-on la capacité de l'éteindre? Aucun des projets recensés ne répond, et c'est précisément pour cela qu'il faut poser la question maintenant, pendant que ces systèmes sont encore des prototypes plutôt que des produits installés dans nos salons.