Inventer le futur du langage. C’est l’objectif rien moins qu’ambitieux que poursuit le Future Reality Lab de NYU. Fondé en 2017, il est dirigé par Ken Perlin, vieux briscard des images de synthèse, à l’origine d’une révolution dans les années 80 sous la forme d’un effet baptisé « Bruit de Perlin », notamment utilisé pour la génération procédurale des textures du film Tron.
Au sein de leur laboratoire, Ken Perlin et ses doctorants s’intéressent au développement de la réalité virtuelle et de la réalité augmentée. En faisant le pari que dans un futur proche, nos smartphones seront de plus en plus remplacés par des outils prenant en charge ces technologies, qu’il s’agisse de lunettes, de lentilles ou de casques plus légers et plus accessibles. D’où cette interrogation qui oriente toutes les recherches du laboratoire : en quoi ces technologies peuvent-elles permettre d’inventer une manière nouvelle de communiquer, qui justifie que les personnes choisissent de se retrouver ensemble dans un espace virtuel plutôt que dans la réalité ?
Le premier défi auquel ils ont été confrontés est la question du langage corporel, qui représente une part non négligeable de la communication qui reste à l’heure actuelle difficilement reproductible dans des environnements virtuels. S’il est possible aujourd’hui de modéliser un avatar complet en uti- lisant des combinaisons de capture de mouvement, ces équipements sont lourds et pénibles : qui peut s’imaginer enfiler une combinaison de plongée pour participer à une conférence Zoom ? Sans parler de leur coût prohibitif. Cependant, les avancées du machine-learning et le développement du matériel permettent aux chercheurs du Future Reality Lab d’envisager de réduire les contrôleurs nécessaires à un casque, des gants et des semelles munis de capteurs de pression, un matériel qui pourrait rapidement se démo- cratiser. À partir des entrées récoltées par ces capteurs, il devient possible de recréer par modélisation numérique un avatar représentant le corps entier en temps réel, ouvrant ainsi la voie à la création d’un Holodeck, façon conseil des Jedi dans Star Wars.
>>> Lire aussi : Techno-féodalisme, Critique de l’économie numérique
Mais le travail du laboratoire ne s’arrête pas là. Une fois arrivés à recréer un environnement virtuel où la communication non-verbale pourrait avoir toute sa place, il se sont aperçus qu’il ne s’agissait en somme que d’une conférence virtuelle augmentée. C’est pourquoi, en se remémorant les jeux auxquels ils jouaient enfants, ils ont entamé le projet de fabriquer un nouveau type d’espace, où le langage permettrait de donner la vie à des objets. En utilisant les outils de reconnaissance vocale alliés à ceux du live-coding, il devient désormais possible d’envisager un espace virtuel où, quand on dessine un cercle en l’air, il apparaît et il devient possible de le déplacer, et même de lui attribuer un comportement. En annonçant à haute voix que ce cercle émet une lumière quand on le touche, l’ordinateur comprend et retranscrit cette instruction en code, et le cercle adopte ce comportement. Le langage lui-même deviendrait ainsi augmenté par cette possibilité de matérialiser ses idées, de les faire exister dans l’espace virtuel, mais aussi, par exemple, de changer son apparence en un mot.
Les applications de cette technologie, encore balbutiante, sont nombreuses, à commencer par l’enseignement. Elles peuvent paraître aussi effrayantes, surtout dans ces temps où nous sommes contraints collectivement à la sépa- ration physique, quand on envisage que ce mode de communication pourrait à moyen terme devenir la norme. Mais c’est sans doute ce que l’on risque, quand on cherche, comme Ken Perlin et les chercheurs du Future Reality Lab, à imaginer le futur.
