L’IA a réussi à s’immiscer dans la plupart des projets artistiques, et maintenant c’est complètement venu pour l’industrie de la musique. Meta a maintenant annoncé la sortie de la version open source de son modèle d’IA de génération de musique qui utilise des invites simples pour générer de la musique comme ChatGPT ou d’autres textes générés par l’IA basée sur un grand modèle de langage.
Felix Kreuk, ingénieur de recherche en IA chez Meta, a montré les capacités de « MusicGen » dans un Fil Twitter tard la semaine dernière. Le système peut prendre de la musique et la modifier, par exemple en créant une chanson pop des années 80 à partir d’un refrain musical classique.
Comme décrit par Kreuk, le modèle utilise un tokenizer audio EnCodec basé sur un modèle de langage de transformateur. Les utilisateurs peuvent faire une démonstration de MusicGen via API de Hugging Face, cependant, la génération de musique peut prendre un certain temps en fonction du nombre d’utilisateurs qui l’utilisent simultanément. Vous pouvez utiliser le site Hugging Face pour créer votre propre instance du modèle pour des sorties beaucoup plus rapides. Sinon, vous pouvez télécharger le code et exécutez-le vous-même si vous avez le savoir-faire et la plate-forme pour le prendre en charge.
Nos propres tests comprenaient une « interprétation symphonique du thème du joyeux anniversaire » et une « piste hip hop Lo-fi plutôt craquante avec des échantillons de la nature, y compris des grillons ». Il n’y a pas de paroles incluses dans les chansons par défaut. Gizmodo a testé le système en essayant notre propre piste audio facultative contenant des paroles de votre serviteur (si vous voulez vraiment stresser vos oreilles avec ma voix chantante qui brise le verre, vous pouvez le trouver dans notre tests précédents de la fonction karaoké d’Apple Music). L’invite « Chanson grunge avec accompagnement de basse lourde et de violon » est sortie plus craquante avec les paroles ajoutées que la même invite fonctionnant sans elle.
On ne sait pas à quel point l’IA comprend certains compositeurs. Nous lui avons demandé de créer une « partition de Hans Zimmer pour un film médiéval steampunk », bien qu’il soit difficile de dire si l’IA pourrait vraiment reproduire les thèmes de Zimmer.
Alors que de nombreux autres modèles exécutent la génération de texte, la synthèse vocale, l’art généré et même de courtes vidéos, il n’y a pas eu beaucoup d’exemples de qualité de génération de musique rendus publics. D’après l’accompagnement dossier de recherche disponible sur le référentiel préimprimé arXiv, l’un des principaux défis de la musique est qu’elle nécessite d’exécuter le spectre de fréquences complet, ce qui nécessite un échantillonnage plus intense. Sans parler des structures complexes et de l’instrumentation qui se chevauchent que l’on trouve dans la musique.
Meta a également comparé son système au modèle texte-musique MusicLM de Google. Meta a son propre page présentant les caractéristiques des deux modèles pour une comparaison directe.
Bien que pour les artistes, ce qui peut être le plus préoccupant à propos du modèle, ce sont ses données de formation. Selon le document de recherche, MusicGen a été formé sur 20 000 heures de musique sous licence à partir d’un ensemble de données interne comprenant 10 000 morceaux de musique. De plus, la société a utilisé environ 390 000 pistes d’instruments uniquement présentées sur Shutterstock et Pond5. Les chercheurs de Meta ont affirmé que toute la musique sur laquelle leur modèle est formé était « couverte par des accords juridiques avec les détenteurs de droits ». Cela inclut un accord avec Shutterstock.
Shutterstock a signé un accord avec le créateur de DALL-E OpenAI l’année dernière, et déjà possède son propre outil de génération d’images AI qui est pré-formé sur les images de tous les contributeurs. Cela ne signifie pas pour autant que les artistes sont nécessairement satisfaits que leur travail soit utilisé pour former l’IA. Certains artistes ont a déjà poursuivi certaines des plus grandes entreprises d’art de l’IA comme Stability AI et Midjourney, avec des allégations visant directement la façon dont les ensembles de données AI aspirent des quantités massives de contenu sous licence sans les autorisations des utilisateurs. Cela se complique lorsque de grandes entreprises technologiques comme Meta peuvent se permettre de concéder sous licence du contenu créatif à utiliser dans sa génération d’IA. Pour un utilisateur, le risque que l’IA plagie directement le travail d’autres musiciens, licenciés ou non, se profile en arrière-plan.
Comme la plupart des grandes entreprises technologiques, Meta a été sur un coup de pied d’IA dernièrement. Cpar rapport à ses grands frères de la technologie, Meta a déclaré qu’il voulait publier plus d’open-source des modèles dans l’éther pour n’importe qui à ramasser et à utiliser. C’est une tactique intéressante pour différencier l’entreprise d’OpenAI, Microsoft et Google qui sont devenus de plus en plus secrets. Toujours, cela ne signifie pas que Meta peut éviter controverse, d’autant plus que les créatifs craignent que les entreprises utilisent l’IA pour des tâches artistiques plutôt que de vrais créatifs en chair et en os. Dans leur article, les chercheurs de Meta ont reconnu que l’IA « peut représenter une concurrence déloyale pour les artistes.« Bmais ils affirmé que l’utilisation de modèles ouverts peut donner amateurs et professionnels de la musique de nouveaux outils pour faire de la musique.