Par Jean-Paul Chevreux et Yves-Marie Poirier, Direction de l'Innovation France Télévisions
Du 4 au 6 novembre s’est tenue la 6ème édition des VRDays Europe, un salon dédié aux technologies de réalité virtuelle, augmentée, mixte et toutes leurs déclinaisons, que l’on rassemble sous le terme Extended Reality ou XR.
La partie physique du salon à Amsterdam a été réduite au minimum et la plupart des conférences ou tables rondes se tenaient en visioconférence. Même les stands des exposants étaient virtuels. Au programme : storytelling immersif, serious games, évolution hardware mais aussi innovations dans le domaine de la santé.
Avec un thème nouveau en cette année de pandémie : l'apport de la technologie virtuelle au télétravail et à la collaboration à distance. Une bonne préfiguration de ce que pourrait représenter le monde du travail de demain.
Production virtuelle
L’utilisation de moteurs 3D temps réel comme l’Unreal Engine d’Epic Games ou Unity, à l’origine destinés au jeu vidéo, est de plus en plus présente dans la production télévisuelle et cinématographique. Cela permet aux réalisateurs d'obtenir le rendu quasi-final de la scène sans attendre la post-production, et surtout de pouvoir modifier à la volée la partie virtuelle de la scène, que ce soit dans des studios fond vert, ou grâce à des murs de LED qui affichent directement le décor 3D, notamment utilisés pendant la production de The Mandalorian.
La vidéo volumétrique se développe et la qualité grandissante des moyens de captation et de rendu en fait un outil prometteur permettant de filmer des personnes de façon non intrusive en 3D. Le contenu ainsi capturé peut être intégré dans une scène 3D et diffusé en réalité virtuelle ou augmentée.
Storytelling immersif
Le storytelling est au cœur du développement des technologies XR. Elles permettent de proposer une nouvelle extension de l’expression artistique afin de faire vivre des expériences dans des formats inédits pour le public. Ainsi grâce à la VR, on peut plonger l’utilisateur dans un monde parallèle ou lui permettre de se transposer dans des situations qu’il ne pourrait pas vivre en temps normal.
Le studio WZZZT a présenté ROZSYPNE, une expérience VR qui nous embarque dans le conflit armé en Ukraine, à travers une représentation imagée du quotidien de Nina, une Ukrainienne vivant en pleine guerre civile.
En mêlant réalité et fiction, on peut transporter l’utilisateur dans une réalité virtuelle tout en lui permettant d'éprouver son ressenti dans des situations réelles.
Les technologies XR permettent aussi d’étendre le champ des perceptions dans des dispositifs plus traditionnels comme le théâtre en mélangeant le monde réel et virtuel. Ainsi se développent autant des expériences pour utilisation à domicile que des expériences LBE (Location-based Experience). Le National Theater de Londres propose l’expérience All Kinds of Limbo, une pièce de théâtre en VR à vivre à plusieurs, jouée dans des lieux scénarisés où les spectateurs et les comédiens peuvent se déplacer dans la même pièce.
La représentation en VR utilise notamment la vidéo volumétrique pour un rendu des comédiens toujours plus proche de la réalité.
La XR au travail : Collaboration, Conception, Visualisation et Formation
Les technologies XR dans le monde de l’entreprise connaissent une croissance fulgurante, particulièrement dans le contexte actuel de pandémie qui a fait exploser les plateformes de visioconférence et de co-working. Le confinement a conduit beaucoup de sociétés à repenser leurs méthodes de travail pour répondre à la nécessité de la distanciation physique, mais aussi pour soutenir le travail collaboratif. Sur ces plateformes, l’utilisateur crée son avatar et rejoint des espaces virtuels dans lesquels il peut se déplacer et travailler avec d’autres personnes. Virbela, par exemple, permet de créer des mondes virtuels pour de grands rassemblements professionnels comme le Laval Virtual World où se retrouvaient les exposants pendant les VRDays 2020.
De nombreuses sociétés proposent aussi des solutions de co-working en VR, AR ou les deux.
Collaboration
Le but de ces outils est de récréer en virtuel les salles de réunion, les salles de workshop collaboratif, en permettant à plusieurs utilisateurs de se retrouver dans un espace virtuel afin d’échanger autour de nombreux outils du monde réel numérisés, comme les post-its, la vidéo, le son, des maquettes, etc. Ce dispositif a de nombreux avantages allant de la la mobilité (il est accessible depuis n'importe où) jusqu'à la personnalisation (en choisissant un lieu virtuel que l’on souhaite, un environnement corporate...). Mais attention au seuil d'acceptabilité qui peut être grand si les outils sont trop compliqués à manier ou si l’utilisateur est submergé d’informations. De plus, chaque entreprise a ses propres problématiques à gérer en travail à distance. HTC en a profité pour présenter justement un écosystème XR personnalisable et adaptable avec leVIVE XR suite.
HTC affirme que le travail spatial collaboratif en XR fonctionnerait quasiment aussi bien qu’en face à face réel tout en apportant plus de flexibilité et de satisfaction pour les employés notamment en gérant mieux leur équilibre vie privée - vie professionnelle. Il a été aussi évoqué que les outils XR accéléreraient la 4ème révolution industrielle, notamment en permettant aux employés d’être plus productifs grâce par exemple à la RA qui permet d’apporter à la vision de l’employé des informations le guidant dans son travail.
La captation volumétrique, qui sera dans le futur accessible via des devices aussi simples qu’un smartphone, pourra permettre de participer à une visioconférence directement avec notre corps scanné et numérisé, transportable dans des applications VR. La société VR Together développe justement ce type de visioconférence 3D en utilisant la technologie « point cloud », avec une télé-consultation permettant au médecin et au patient de se voir en 3D et de pratiquer un examen à distance poussé.
Le résultat est ici très basique mais laisse entrevoir le futur de la visioconférence avec les technologies XR.
Conception
L'automobiliste Volvo utilise dans ses workflow de production des outils XR à de nombreux niveaux, comme par exemple pour le design partagé en VR de leur véhicule qui permet aux concepteurs de travailler sur les modèles 3D à plusieurs et simultanément. Ils développent également en VR et en AR des situations de conduites pour imaginer, tester et développer les fonctionnalités des véhicules.
Datavisualisation
Intégrer la 3D à la visualisation de données, grâce aux technologies XR favorise la compréhension de l’information en exploitant mieux les aptitudes naturelles de notre cerveau à traiter les datas en 3D. Des sociétés comme Flow Immersiv proposent des solutions pour exploiter la 3D et clarifier tout en densifiant les datas. De plus, les technologies XR permettent d’apporter de la collaboration en proposant la visualisation ou la modification à plusieurs et en multi-plateforme.
Formation
Les serious games continuent de s’intégrer au sein des entreprises. La simulation en réalité virtuelle permet de répéter autant de fois que l’on souhaite des gestes dans des environnements identiques au réel et de créer de la mémoire musculaire. Elle peut notamment être utilisée dans des industries comme l’aviation pour une partie de la formation les pilotes. Les jeux de rôles utilisant des agents virtuels se développent également : ces personnages virtuels s'adaptent au contexte et vont répondre différemment selon les mots, le ton ou le langage employé par l’utilisateur, permettant ainsi de l’entrainer à faire face à diverses situations. Cette technique peut être employée dans le domaine médical pour apprendre à gérer des patients anxieux, dans les ressources humaines ou encore chez des compagnies ferroviaires pour apprendre à guider les voyageurs comme dans les applications présentées par le studio The Simulation Crew.
"Virtual beings" et la représentation de l’humain dans le monde virtuel
L’utilisation d’êtres virtuels n’est pas limitée au monde du travail : ils peuvent servir de compagnon d’apprentissage, de guide, de vendeur, le tout au service d’une expérience narrative interactive. Leur aspect humanoïde et leurs réactions face aux actions de l’utilisateur grâce à leur compréhension du langage naturel les rendent plus engageants que de simples chatbots. Certains sont même influenceurs sur les réseaux sociaux. La société Virbe par exemple développe des virtual beings sur mesure.
Les créateurs de "virtual beings" espèrent que l’intelligence artificielle pourra permettre à ces personnages de mieux communiquer avec les utilisateurs et de réagir de façon plus crédible et pertinente pour créer toujours plus d'engagement.
Par ailleurs la création de personnages 3D et la capture de mouvement deviennent plus accessibles. Cela permet de créer facilement des avatars plus interactifs et de donner corps à un "soi numérique" à l'image des VTubers, ces YouTubers qui utilisent des avatars 3D pour se représenter, et qui se sont multipliés au Japon ces dernières années, puis dans le monde entier. Par ailleurs la vidéo volumétrique permet aussi de créer des humains numériques très réalistes et de brouiller encore plus la frontière entre la réalité et le virtuel.
L’évolution hardware
Les technologies XR reposent sur du développement logiciel exploitant du matériel. Améliorer l’expérience utilisateur passe par le développement à la fois du software et du hardware. En ce qui concerne le matériel, les VRDays ont mis l’accent sur les capteurs permettant de toujours mieux transporter les informations du monde réel afin de les exploiter dans les applications XR. Ainsi HP a présenté son nouveau casque VR Omnicept embarquant un capteur cardiaque, de l’eye tracking (oculométrie) avec captation de la dilatation de la pupille ainsi qu'une caméra filmant le visage pour en extraire les émotions.
Des interfaces « BCI » (Brain-Computer Interfaces) lisant directement les ondes cérébrales sont en développement par la société Impulse Neiry et peuvent permettre de directement traduire nos pensées en actions. La société Vicon a développé des modules pour du full body tracking à destination de leur application multi-joueur LBE.
La volonté affichée est d’essayer d’abattre le plus possible la frontière entre le monde physique et le monde digital, créant la fusion des deux dans un monde phygital.
XR pour la santé
Le domaine médical est un secteur fortement investi par les technologies XR. L’utilisation de la VR à ouvert plusieurs champs d’application dans le traitement de nombreuses pathologies. Ainsi la société Mieron est spécialisée dans des applications VR dédiées à la rééducation, notamment pour des personnes atteintes de lésions cérébrales. Grâce à leurs outils, les patients peuvent suivre des exercices à l’aide d’un casque VR directement chez eux. Ils annoncent des résultats probants, ce qui pourrait faire de leurs solutions des compléments voire des alternatives crédibles à des traitements plus traditionnels. Par exemple, l’utilisation du gaming permettrait de maintenir une motivation supérieure pour les malades.
La société OnConfort est spécialisée dans la « digital sedation », elle utilise des expériences VR relaxantes pour permettre de diminuer la sensation de douleur lors d’opérations médicales, en empêchant l’esprit de se focaliser sur la douleur. Ils annoncent des résultats étonnants permettant de diminuer la sédation médicamenteuse.
La société Impulse Neiry évoquée précédemment permet aussi de suivre des maladies liées au cerveau grâce à un casque de lecture d’ondes cérébrales.
Métavers
Enfin, de nombreuses entreprises et professionnels de l’XR essayent d’imaginer le Métavers, un monde virtuel persistant et connecté où les utilisateurs sous forme d'avatars peuvent interagir avec un cyberespace ayant ses propres médias, ses propres règles et même sa propre économie. C’est notamment l’ambition d’Epic Games pour son jeu Fortnite, où se déroulent désormais régulièrement des concerts ou des diffusions de films et de Facebook live avec Horizon.
