VR Auditory Space

VR Auditory Space – Spatialisation du son en immersion VR

Ce projet a reçu le soutien de l’appel à projet Eur-ArTeC 2019, 2020 et 2021 et a été sélectionné pour l’édition 2022 de Laval Virtual EUROPE, dans la catégorie recherche.

Porteur et chef de projet : Christine Webster, Université de Paris 8, laboratoire MUSIDANCE CICM.

  • Développement librairie HOA Unity. Eliott Paris, CICM, Université de Paris 8.
  • Développement interface immersive 3D. David Fierro, CICM, Université de Paris 8.
  • Création design immersif 3D et avatars. Sofia Kourkoulakou, INREV, Université de Paris 8, EnsadLab Spatial Media.

Encadrement scientifique :

  • Alain Bonardi maitre de conférence HDR, Université de Paris 8, CICM Musidanse
  • Anne Sedes professeur, CICM Musidanse, Université de Paris 8
  • François Garnier responsable groupe de recherche Spatial Media EnsadLab

Le projet VR Auditory Space- Spatialisation du son en immersion VR associe le moteur de jeu Unity 3D à HOA Library, bibliothèque de spatialisation immersive du son réalisée au Labex Arts-H2H entre 2012 et 2015 pour créer un environnement de composition in-game s’appuyant sur les techniques de spatialisation Ambisonique 3D et Binaurales.

Le projet envisagé comme une preuve de concept voudrait poser les jalons d’une interface de spatialisation 3D immersive à destination du compositeur de musique électronique et du sound designer et de l’artiste sonore en arts numériques, en procédant à une extension VR compatible du système de spatialisation HOA Library couplé à une maquette d’interface immersive 3D.

Nous voulons démontrer comment le compositeur de musique électronique peut manipuler en état d’immersion VR un VRAS – un Virtual Reality Audio Space, un espace auditif synthétisé numériquement en simulation 3D.

Le potentiel d’une telle immersion permet au compositeur :

  • D’avoir un accès direct, in-game en vision stéréoscopique et écoute binaurale au système de spatialisation virtuel.
  • De travailler en mode édition/lecture simultané. Les opérations sont réalisées en temps réel de façon dynamique et rendues visibles dans l’espace 3D.

Le VRAS est simulé sur le game-engine Unity3D, Il est constitué d’un système de spatialisation Ambisonique 3D – le HOA Library, décodé en sortie sur deux canaux pour une écoute binaurale au casque. L’accès à l’interface immersive 3D et les interactions in-game se font en immersion stéréoscopique avec le HTC Vive, son système de tracking et ses contrôleurs.

Une première version de la librairie HOA pour Unity a été développée par Eliott Paris en Mars 2019. Elle est accessible ici. La librairie se présente sous la forme d’un plugin natif Unity 3D. C’est un spatialisateur ambisonique à l’ordre 3, il n’y pas de limites du nombre d’AudioSources pouvant jouer simultanément dans la scène 3D. Ce plugin est disponible pour Windows 10 et peut être intégré dans vos projets Unity version 2017 à 2019.

La librairie HOA Unity est également intégré dans la version runtime de notre environnement de spatialisation VRAS. L’application de notre interface immersive 3D se présente sous la forme d’un worldspace de 1000m2 comprenant un espace libre type bac à sable et une grille de spatialisation au sol de 100m2. La grille servira à accueillir 4 presets de spatialisation, (quadriphonie, double quadri, octophonie et une réplique du demi dôme 16 voies du CICM).  

La modélisation du demi dôme 16 voies du CICM nous permet de procéder à des tests d’écoutes comparées entre la perception auditive telle qu’elle est ressentie à partir du dispositif hardware du HOA du CICM et celle mise en espace dans l’environnement 3D immersif. Nous évaluons en situation immersive des oeuvres composés par les enseignants chercheurs et des oeuvres spatialisées emblématiques du répertoire contemporain.

Notre scénario utilisateur permet au compositeur d’interagir avec l’environnement de spatialisation du VRAS à trois niveaux et de les combiner entre eux  :

  • Le VRAS comme un espace d’écoute immersif, pour écouter une oeuvre réalisée au préalable en multiphonie ou ambisonie 2D et 3D. Il suffit pour cela d’importer les stems audios et de les assigner via le menu 3D aux AudioSources désirées. Chaque source est éditable individuellement.
  • Le VRAS comme espace de spatialisation libre, avec le positionnement des AudioSources ponctuelles partout dans l’espace hors des contrainte de formats de spatialisation et de sweet spot grâce au mode AddSource et mode AddTrajectoires. Toutes les sources sont éditables individuellement. Chaque source assignée à une trajectoire possède sa propre vitesse de déplacement.
  • Le VRAS comme espace de mobilité. Nous avons envisagé trois mode de locomotion pour le compositeur et l’auditeur, la marche physique naturelle à l’intérieur de l’espace de tracking, la téléportation d’un point à un autre et le mode Human Joystick. Dans le mode Human Joystick de simples mouvements du buste avant-arrière, gauche-droite et haut-bas remplacent  le WASD classique sur Gamepad ou clavier alphanumérique en lui ajoutant le déplacement dans l’axe de la hauteur. La mobilité associé à la spatialisation libre permet d’imaginer des structures spatiales innovantes.
  • La dimension avatariale. Le VRAS veut pendre en compte une présence avatariale complète (full body presence), pour se repérer à l’intérieur du dispositif de spatialisation et interagir avec l’environnement. Au delà de la synchronicité corps/avatar nous voulons également exploiter le potentiel corps/contrôleur. La collaboration à deux avatars (voir plus ) en immersion simultanée est également envisagée. Cet aspect du projet a été étudié en 2020 et 2021, avec des test d’apparences d’avatars et leur intégration en double immersion, en mode local et via le serveur Photon, une triple immersion a été réalisée en 2021. Mais ces techniques doivent encore être perfectionnées et ajustées à l’environnement du VRAS et demanderont des études ultérieures.
  • La version du VRAS  finalisé en 2021 est  en mono user et parfaitement fonctionnelle.

 

L’application standalone du projet VRAS, la scène Unity 3D ainsi qu’un mode d’emploi succint sont disponibles à l’adresse suivante, URL :  Projet VRAS

Présentation du projet :

Rencontres ArTeC – Centre des Arts d’Enghien les Bains – 5 et 6 novembre 2019

Ensad, Virtual Creativity, Collective Realities  – 12-15 novembre 2019

Nos publications :

JIM 2020 – Journées d’Informatique Musicale Strasbourg 26/27/28 octobre 2020. Webster, Paris, Fierro et Kourkoulakou, VR Auditory Space – Spatialisation du son en immersion VR. URL :  https://tinyurl.com/56vhc4ah

VR Auditory Space poster. URL :  https://tinyurl.com/ypud5h6f

Revue Hybrid #9 2022. Arts et Sciences de l’Avatar Technologique, Christine Webster et Sophia Kourkoulakou, Composer en Immersion Virtuelle, Avatar et Représentation. URL : https://journals.openedition.org/hybrid/2382

Le projet VRAS forme le 4ème volet experimental du Chapitre II de la thèse de Christine Webster. Disponible sur HAL Thèses, URL : https://theses.hal.science/tel-03913822

Nos vidéos de démonstrations :

VRAS Menu walktrough, présentation du menu et des principales fonctions  : https://www.youtube.com/watch?v=FytvfAEjfbc

VRAS Spatialisation quadriphonique : exemple de spatialisation à partir d’un preset quadriphonique https://www.youtube.com/watch?v=TRNXEiaVuvw

VRAS Spatialisation en mode Fly ou mode joystick humain : https://www.youtube.com/watch?v=VwRgAZdaUkY

 

VR Auditory Space a été sélectionné pour l’édition 2022 de Laval Virtual EUROPE, dans la catégorie recherche.