Le son est un levier puissant d’immersion. Nous sommes toujours surpris par sa capacité à créer une atmosphère et à nous transporter dans l’ailleurs. Pour en savoir plus sur le rôle et la création d’un bon paysage sonore, nous avons discuté avec Paolo Armao. Il a créé le paysage sonore de Blind, un jeu en réalité virtuelle où le joueur incarne Jean. Jean perd la vue suite à un accident, le son devient alors son seul repère.
UXmmersive : Peux-tu nous présenter ton parcours ? Comment es-tu arrivé à ce projet ?
Paolo Armao : J’ai commencé à travailler dans le sounddesign en 2006, d’ailleurs avec un projet en réalité virtuelle ! Et cela fait désormais 15 ans dans le cinéma, l’animation ou pour des musées.
En 2014 j’ai été contacté par Tiny Bull Studio, un studio de jeux vidéo indépendant, pour le projet de ce jeu en réalité virtuelle. On m’a demandé d’utiliser le son comme principal vecteur d’information, d’interaction et d’émotion pour le joueur. Pour un sound designer, c’est un super terrain de jeu ! L’ouïe est au cœur du concept.
Le jeu Blind
Peux-tu nous en dire plus sur Blind VR ?
Paolo Armao : Blind est un jeu en réalité virtuelle. Le joueur incarne Jean, qui a un accident de voiture. Elle se réveille dans une maison inconnue et se rend compte qu’elle a perdu la vue. Elle va tenter de comprendre ce qui se passe, où elle est etc. Pour s’orienter elle va utiliser l’écholocalisation, soit se repérer par une echo sonore. Cette écho, représentée par des lignes blanches, permet au joueur de ne pas se retrouver complétement dans le noir.
Mais en réalité, le sujet du jeu n’est pas tant la perte de la vue que les sentiments qui y sont associés : la mémoire, le regret, la culpabilité…
Le son a donc deux rôles majeur : orienter le joueur en donnant des indices (d’où vient un son, où regarder etc.) ; le deuxième est de développer cette incarnation, et aiguiller le joueur sur les émotions de Jean, son état mental.
Comment as-tu travaillé là-dessus ?
Paolo Armao : Nous avons travaillé avec un doctorant sur le son et les émotions, Simone Pellegrini, pour comprendre la relation entre les deux. Nous avons tenté de traduire une carte des émotions en son. La question était de savoir comment on entend un son selon nos émotions ? Bien sûr, le son est un son. Mais le cerveau est un peu comme un mixeur. Si je suis énervé, triste, apaisé, je ne le percevrais pas de la même manière, et c’était ce que nous devions retranscrire.
Nous avons ainsi créé une palette de son et une matrice pour définir comment il va se comporter et se transformer selon ses émotions. C’est un processus similaire aux films d’horreur pour créer le sentiment de malaise, de peur. Car au fur et à mesure du jeu, Jean perd l’esprit ! Si j’entends une première fois un son normal, tout va bien. Mais si je le réentends plus tard, avec un effet de distorsion, je vais saisir que quelque chose a changé et n’est pas normal, que Jean n’est plus dans le même état. C’est un véritable processus d’écoute, un nouveau langage, qui se met en place entre le joueur et le personnage de Jean.
La matrice sonore – cc Paolo Armao, Tiny Bull, à retrouver ici
Et en fin de compte peut-on utiliser un son pour créer une émotion spécifique ?
Paolo Armao : Oui et non ! Il n’y a pas de son « joie » ou de son « peur », c’est très réducteur. C’est selon un contexte précis que le son va orienter vers des émotions. Par exemple, j’aime beaucoup le Clair de Lune de Debussy, et je trouve ce morceau très calme et apaisant. Mais hier, j’ai regardé un film d’horreur dans lequel un petit garçon le jouait. Ça n’a pas du tout la même signification ! L’interprétation d’un son est dépendante du contexte. En tant que sound designer vous interagissez avec le reste de l’équipe pour créer un contexte qui fait que ce son créera de la peur ou de l’anxiété par exemple.
Mais c’est se compliquer la tâche de raconter une histoire uniquement au travers du son non ?
P.A : C’est bien plus dur quand vous ne pouvez pas vous reposer sur des éléments visuels dans un jeu comme Blind. La vue permet d’indiquer un grand nombre d’informations que vous devez traduire en son si elle n’est pas disponible. Par exemple au lieu de voir une cigarette s’allumer, il va falloir traduire cette action en son uniquement et communiquer tout un tas d’éléments. Mais c’est quelque chose de fascinant ! Il n’y a qu’a voir le succès des radio drama dans les années 60 en France et en Italie pour comprendre comment raconter des histoires avec le son. Cela fait du bien de laisser nos yeux se reposer un peu.
Est-ce que tu as adopté des techniques particulières ?
P.A. : Oui, pour renforcer ce sentiment d’intimité, on a par exemple utilisé un microphone de contact, une technique d’enregistrement qui ne va pas enregistrer les vibrations de l’air, mais dans la matière. Si j’enregistre un bruit de thé versé dans une tasse par exemple, on aura l’impression d’être dans la tasse ! Ça crée un sentiment de proximité beaucoup plus fort.
Par ailleurs on a utilisé les caractéristiques même du son pour l’interaction. Le son a une capacité haptique. Les fréquences basses peuvent nous faire ressentir physiquement une onde sonore dans notre corps. Il existe des équipements qui permettent d’aider les joueurs sur ce plan (Ex : Subpack) mais ils sont encore peu accessibles. Dans Blind, nous avons réussi à créer de fausses basses fréquences pour générer une forme d’haptique et de ressentis dans le corps des joueurs. C’est frugal, mais ça marche.
En quoi est-ce différent de créer du son pour de la réalité virtuelle ?
P.A. : Spontanément, en réalité virtuelle, on fait beaucoup plus attention au son : on sait qu’il va nous donner des indications importantes, ça va guider notre regard. Mais pour le moment on ne sait pas être très précis sur la localisation du son, en tout cas on n’est pas aussi précis que dans la vie réelle. De plus, naturellement, l’humain perçoit assez mal la hauteur du son – alors qu’il perçoit bien si un son vient de droite ou de gauche.
On entend pas mal parler du son binaural : est-ce aussi prometteur que ça ?
P.A. : Oui complètement ! On en est encore aux débuts, on explore ce qui marche, ce qui ne marche pas. Il y a beaucoup d’attentes sur la localisation précise d’un son par exemple ; mais on se rend compte qu’il faut être assez parcimonieux dans les informations qu’on délivre, sinon on surcharge complètement le spectateur ! Cela va complétement changer notre expérience du son.
Un grand merci à Paolo et au temps qu’il nous a accordé !
Si vous avez aimé cet article, abonnez-vous à notre newsletter !
