L'Université de Birmingham dévoile la plateforme JAMS, qui permet aux musiciens de collaborer en temps réel grâce à des avatars réactifs. Cette innovation promet d'apporter la magie des expériences musicales en personne au monde virtuel, améliorant ainsi la pratique, l'enseignement et la performance.
L'Université de Birmingham a dévoilé une innovation révolutionnaire qui promet de révolutionner le monde de la musique virtuelle. La plateforme Joint Active Music Sessions (JAMS), développée grâce à des recherches interdisciplinaires, permet aux musiciens de participer à des séances de pratique, de performance et d'enseignement réalistes en utilisant la technologie des avatars.
« Un musicien s’enregistre et envoie la vidéo à un autre musicien. Le logiciel crée un avatar réactif qui joue en parfaite synchronisation avec le partenaire musical. Tout ce dont vous avez besoin, c’est d’un iPhone et d’un casque de réalité virtuelle pour réunir des musiciens pour une performance, une répétition ou un cours », a déclaré Massimiliano (Max) Di Luca, professeur associé à l’Université de Birmingham qui a dirigé l’équipe de développement, dans un communiqué. communiqué de presse.
La plateforme JAMS transcende les environnements musicaux virtuels traditionnels en utilisant des avatars qui capturent les subtilités et les nuances de la performance musicale. Ces avatars peuvent reproduire de manière réaliste les mouvements d'archet d'un violoniste ou permettre un contact visuel significatif entre les membres d'un groupe virtuel, améliorant ainsi l'interaction musicale globale.
Contrairement à d’autres collaborations musicales virtuelles, JAMS élimine les problèmes de latence.
« La latence est le délai entre la production d'un son et le moment où il atteint l'auditeur, et les interprètes peuvent commencer à ressentir les effets de la latence dès 10 millisecondes, les mettant en décalage, brisant leur concentration ou les distrayant des aspects techniques du jeu », a ajouté Di Luca.
Développé dans le cadre du projet Augmented Reality Music Ensemble (ARME), JAMS s'appuie sur un algorithme dynamique qui capture les ajustements opportuns entre les interprètes. Ce projet innovant a réuni des experts en psychologie, en informatique, en ingénierie, en musique, en sciences du sport et en mathématiques.
« Nous souhaitons apporter la magie de jouer de la musique en personne au monde virtuel. Vous pouvez adapter l'avatar avec lequel d'autres personnes jouent ou apprendre à mieux jouer en vous exerçant avec un maestro », a ajouté le Dr Di Luca.
En offrant un décor réaliste et immersif et en gardant les visages des avatars à hauteur des yeux, JAMS renforce le sentiment de connexion entre les musiciens. La plateforme ouvre de nouvelles opportunités aux musiciens chevronnés et novices de se produire dans des groupes virtuels interactifs, ouvrant la voie à des concerts virtuels à grande échelle et à des méthodes d'enseignement de la musique innovantes.
De plus, JAMS présente un potentiel commercial, avec notamment des fonctionnalités de synchronisation labiale, de doublage dans les médias et de création de jumeaux numériques de musiciens. Ces avatars pourraient être concédés sous licence pour diverses applications, favorisant ainsi de nouvelles façons d'exploiter les catalogues et les droits d'édition.