À quoi ressemble et des sons comme quelque chose tout droit sorti d’un Guerres des étoiles film, un robot nommé Shimon de Georgia Tech peut désormais chanter et composer des chansons avec des collaborateurs humains, parmi de nombreuses autres améliorations intéressantes.
Shimon a été autour depuis plusieurs années, mais ses développeurs au Georgia Tech Center for Music Technology ont doté le robot marimba de superbes de nouvelles capacités, selon un communiqué de presse.
Remarquablement, le bot chante maintenant, et il le fait en utilisant un humain étrangement voix. De plus, Shimon peut désormais mieux jouer le marimba qu’auparavant, composer des paroles et même faire des gestes expressifs avec ses sourcils.
Les chercheurs ont sorti une nouvelle chanson, intitulée «Dans votre esprit», Qui met en valeur les nouvelles capacités de Shimon. C’est étonnamment bon, avec une sensibilité jazzy de type prog, ainsi que des paroles trippantes. Incroyablement, Shimon a écrit la chanson et les paroles, avec l’aide de collaborateurs humains. Cette piste et plusieurs autres apparaîtront sur un prochain album qui devrait sortir sur Spotify ce printemps. Shimon entreprendra également une tournée à l’appui du nouveau matériel.
Le créateur de Shimon, le professeur Georgia Tech Gil Weinberg, a déclaré l’objectif principal du projet n’est pas de remplacer les humains mais pour «créer une musique surprenante et inspirante grâce à la collaboration homme-robot», il Raconté Gizmodo dans un e-mail.
«Notre travail se concentre sur la collaboration homme-robot, et nous espérons que les robots apporteront ce qu’ils sont bons – algorithmique unique et surprenant –des idées musicales basées sur des capacités mécaniques humainement impossibles, etc. – et les humains apportent ce pour quoi ils sont bons ». telles que les émotions et l’expression, at-il dit. Ensemble, cette collaboration a le potentiel de «se connecter avec les humains sur le plan émotionnel et expressif», a-t-il ajouté.
Pour faire fonctionner le système, Weinberg fournit à Shimon un thème pour une nouvelle chanson. Til robot alors assemble des paroles basées sur ce thème en apprenant d’une base de données contenant les paroles de plus de 50 000 chansons, qui incluent des genres tels que le jazz, le rock progressif et le hip-hop.
Donc, si Shimon est présenté avec un thème comme «tempête», le bot générera un lot de mots associés, tels que «pluie», puis bouclera ces mots ensemble pour construire une feuille de paroles. Shimon peut également décider quels mots sont plus pertinents que d’autres et générer plus de paroles en fonction de cela.
«Il existe de nombreux systèmes qui utilisent l’apprentissage en profondeur, mais les paroles sont différentes», a expliqué Richard Savery, un étudiant en doctorat de Georgia Tech qui a aidé Shimon avec ses capacités d’écriture de chansons, dans le communiqué de presse. «La façon dont le sens sémantique se déplace dans les paroles est différente. De plus, la rime et le rythme sont évidemment très importants pour les paroles, mais ce n’est pas aussi présent dans d’autres générateurs de texte. Donc, nous utilisons l’apprentissage en profondeur pour générer des paroles, mais c’est aussi combiné avec des connaissances sémantiques. «
Quant à la voix humaine de Shimon, l’équipe de Georgia Tech a collaboré avec le Music Technology Group de l’Université Pompeu Fabra à Barcelone, en Espagne. Georgia Tech a fourni à cette équipe les paroles et la mélodie, et ils ont à leur tour utilisé leur synthétiseur vocal basé sur l’apprentissage profond, qui apprend à partir de centaines de chansons, pour créer la voix de Shimon, selon Weinberg.
Shimon propose également de nouveaux matériels, à savoir une bouche, des sourcils et des mouvements de tête mis à jour, qui fonctionnent tous de concert avec la musique. Le point de ces fonctionnalités est de connecter le robot avec ses compagnons de bande humains lors des performances. La doctorante de Georgia Tech Lisa Zahray a aidé à concevoir les mouvements expressifs des sourcils de Shimon.
« Nous devons penser à son rôle à chaque fois pendant la chanson et à ce qu’il devrait faire », a déclaré Zahray dans le communiqué de presse. « Nous voulons également nous assurer qu’il interagit avec les autres musiciens autour de lui pour donner l’impression qu’il joue avec des gens. »
Le robot a également amélioré sa dextérité, grâce à l’ajout de nouveaux moteurs dans ses quatre «mains». Cette mise à jour a considérablement amélioré la façon dont Shimon joue du marimba. Conçu par le doctorant Ning Yang, le les mains permettent une plus grande amplitude de mouvement et un contrôle supérieur. Shimon peut désormais jouer avec une meilleure plage dynamique, dans laquelle les parties douces sont plus silencieuses et les parties fortes sont plus bruyantes, ce qui donne une musique plus expressive.
« Nous avions auparavant des maillets à solénoïde pour Shimon qui pouvaient frapper aussi vite que sept coups par seconde », a déclaré Weinberg à Gizmodo. «Nous avons remplacé tous les actionneurs par des moteurs CC sans balais qui peuvent jouer beaucoup plus rapidement – jusqu’à 30 coups par seconde – plus rapidement que n’importe quel humain.»
Grâce à sa capacité de jeu rapide, Shimon peut créer de nouveaux timbres qui seraient autrement impossibles pour les interprètes humains.
Lorsque vous regardez le nouveau clip de « In Your Mind », assurez-vous de garder un œil sur le batteur, Jason Barnes, qui porte un membre prothétique jouant du tambour, permettant des performances surhumaines – encore un autre projet cool de ce laboratoire de musique innovant.
GIPHY App Key not set. Please check settings