VR Auditory Space – Spatialisation du son en immersion VR

Ce projet a reçu le soutien de l’appel à projet EUR-ArTeC 2019.

Porteur et chef de projet : Christine Webster, Université de Paris 8, laboratoire EDESTA.

• Développement librairie HOA Unity. Eliott Paris, CICM, Université de Paris 8.
• Développement interface immersive 3D. David Fierro, CICM, Université de Paris 8.
• Création design immersif 3D et avatars. Sofia Kourkoulakou, INREV, Université de Paris 8, EnsadLab Spatial Media.

Encadrement scientifique :

• Alain Bonardi maitre de conférence HDR, Université de Paris 8, CICM Musidanse
• Anne Sedes professeur, CICM Musidanse, Université de Paris 8
• François Garnier responsable groupe de recherche Spatial Media EnsadLab

Le projet VR Auditory Space- Spatialisation du son en immersion VR associe le moteur de jeu Unity 3D à HOA Library, bibliothèque de spatialisation immersive du son réalisée au Labex Arts-H2H entre 2012 et 2015 pour créer un environnement de composition in-game s’appuyant sur les techniques de spatialisation Ambisonique 3D et Binaurales.

Le projet envisagé comme une preuve de concept voudrait poser les jalons d’une interface de spatialisation 3D immersive à destination du compositeur de musique électronique et du sound designer et de l’artiste sonore en arts numériques, en procédant à une extension VR compatible du système de spatialisation HOA Library couplé à une maquette d’interface immersive 3D.

Nous voulons démontrer comment le compositeur de musique électronique peut manipuler en état d’immersion VR un VRAS – un Virtual Reality Audio Space, un espace auditif synthétisé numériquement en simulation 3D.

Le potentiel d’une telle immersion permet au compositeur :

• D’avoir un accès direct, in-game en vision stéréoscopique et écoute binaurale au système de spatialisation virtuel.
• De travailler en mode édition/lecture simultané. Les opérations sont réalisées en temps réel de façon dynamique et rendues visibles dans l’espace 3D.

Le VRAS est simulé sur le game-engine Unity3D, Il est constitué d’un système de spatialisation Ambisonique 3D – le HOA Library, décodé en sortie sur deux canaux pour une écoute binaurale au casque. L’accès à l’interface immersive 3D et les interactions in-game se font en immersion stéréoscopique avec le HTC Vive, son système de tracking et ses contrôleurs.

Une première version de la librairie HOA pour Unity a été développée par Eliott Paris en Mars 2019. Elle est accessible ici. La librairie se présente sous la forme d’un plugin natif Unity 3D. C’est un spatialisateur ambisonique à l’ordre 3, il n’y pas de limites du nombre d’AudioSources pouvant jouer simultanément dans la scène 3D. Ce plugin est disponible pour Windows 10 et peut être intégré dans vos projets Unity version 2017 à 2019.

La librairie HOA Unity est également intégré dans la version runtime de notre environnement de spatialisation VRAS. L’application de notre interface immersive 3D se présente sous la forme d’un worldspace de 1000m2 comprenant un espace libre type bac à sable et une grille de spatialisation au sol de 100m2. La grille servira à accueillir 4 presets de spatialisation, (quadriphonie, double quadri, octophonie et une réplique du demi dôme 16 voies du CICM).  

La modélisation du demi dôme 16 voies du CICM nous permet de procéder à des tests d’écoutes comparées entre la perception auditive telle qu’elle est ressentie à partir du dispositif hardware du HOA du CICM et celle mise en espace dans l’environnement 3D immersif. Nous évaluons en situation immersive des oeuvres composés par les enseignants chercheurs et des oeuvres spatialisées emblématiques du répertoire contemporain.

Notre scénario utilisateur permet au compositeur d’interagir avec l’environnement de spatialisation du VRAS à trois niveaux et de les combiner entre eux  :

• Le VRAS comme un espace d’écoute immersif, pour écouter une oeuvre réalisée au préalable en multiphonie ou ambisonie 2D et 3D. Il suffit pour cela d’importer les stems audios et de les assigner via le menu 3D aux AudioSources désirées. Chaque source est éditable individuellement.
• Le VRAS comme espace de spatialisation libre, avec le positionnement des AudioSources ponctuelles partout dans l’espace hors des contrainte de formats de spatialisation et de sweet spot grâce au mode AddSource et mode AddTrajectoires. Toutes les sources sont éditables individuellement. Chaque source assignée à une trajectoire possède sa propre vitesse de déplacement.
• Le VRAS comme espace de mobilité. Nous avons envisagé trois mode de locomotion pour le compositeur et l’auditeur, la marche physique naturelle à l’intérieur de l’espace de tracking, la téléportation d’un point à un autre et le mode Human Joystick. Dans le mode Human Joystick de simples mouvements du buste avant-arrière, gauche-droite et haut-bas remplacent  le WASD classique sur Gamepad ou clavier alphanumérique en lui ajoutant le déplacement dans l’axe de la hauteur. La mobilité associé à la spatialisation libre permet d’imaginer des structures spatiales innovantes.
• La dimension avatariale. Le VRAS veut pendre en compte une présence avatariale complète (full body presence), pour se repérer à l’intérieur du dispositif de spatialisation et interagir. Au delà de la synchronicité corps/avatar nous voulons également exploiter le potentiel corps/contrôleur. La collaboration à deux avatars (voir plus ) en immersion simultanée est également envisagée. Cet aspect du projet sera développé courant 2020, mais nous avons déjà procédé à quelques tests d’apparence.