Stable Diffusion possède désormais son propre modèle de langage d’IA open source

Il semble que tout le monde et leur mère ont un grand modèle de langage ces jours-ci. Stability AI, l’une des entreprises qui s’est fait un nom au début de la course effrénée de l’IA, a été plus lente que ses contemporaines à entrer dans le domaine des LLM, c’est-à-dire jusqu’à présent. Mercredi, la société annoncé ça se lançait StableLMune « suite » de modèles de langage destinés à concurrencer l’intelligence artificielle de la soupe à l’alphabet comme GPT-4 d’OpenAI, LLaMA de Meta et LaMDA de Google.

Stability AI a déclaré avoir formé son nouveau modèle sur un open-source de 800 Go ensemble de données appelé « The Pile ». La société a déclaré qu’elle publierait des détails sur les données de formation du nouveau modèle linguistique « en temps voulu » parallèlement à une rédaction technique complète.. Les différentes versions « très alpha » du LLM, comme l’a dit le PDG Emad Mostaque, sont disponibles dans des variétés de paramètres de 3 milliards et 7 milliards, et la société a affirmé qu’elle travaillait sur des versions de paramètres de 15 et 65 milliards. La version 7B du chatbot est disponible pour tester Hugging Face. Ce nouveau LLM était la tentative de Stability AI de revenir «à nos racines ouvertes», selon à Mostaque.

Les premiers tests de Gizmodo sur le modèle sous forme de chatbot étaient pour le moins un peu gênants. L’IA semblait avoir du mal à changer de vitesse après que nous lui ayons posé des questions sur des problèmes avec les données d’entraînement de ses modèles d’IA concurrents, puis sur la meilleure façon de peler une banane. L’espace libre sur Hugging Face est également inondé de demandes, il est donc difficile d’avoir une meilleure idée de l’IA. Cependant, certains utilisateurs ont signalé qu’il échouait dans certaines des tâches les plus rudimentaires, comme la création d’une recette pour un sandwich à la gelée de beurre de cacahuète (n’oubliez pas de retirer les graines de banane lors de l’assemblage, apparemment).

Les paramètres sont essentiellement un moyen pour les LLM de générer des prédictions et offrir une évaluation très approximative de la sophistication de chaque modèle. A titre de comparaison, GPT-3, qui était le premier à alimenter ChatGPT d’OpenAI, avait 175 milliards de paramètres. La société n’a pas révélé le nombre de paramètres du GPT-4, mais Semafor a rapporté le mois dernier que la dernière version du LLM d’OpenAI avait 1 000 milliards de paramètres. Cependant, le nombre de paramètres n’informe pas nécessairement sur la qualité des résultats générés par l’IA, et plus de paramètres signifient généralement il en coûte beaucoup plus d’énergie pour générer réellement du contenu.

Stability AI est conscient qu’il doit se renforcer pour rivaliser avec ses plus gros concurrents soutenus par Microsoft. L’outil a été développé pour aider « les gens ordinaires et les entreprises ordinaires à utiliser l’IA pour libérer leur créativité ». La société a annoncé qu’elle se concentrait sur des performances d’IA efficaces, spécialisées et pratiques, et non sur une quête d’une intelligence divine. Ce dernier élément semble être une fouille spécifique chez OpenAI, dont les dirigeants semblent obsédé par l’idée d’une IA super intelligente.

Sur Twitter, Mostaque a déclaré que le LLM et ses données de formation ne feront que s’améliorer avec le temps, affirmant qu’il souhaite qu’il traite éventuellement 3 000 milliards de jetons, qui pourraient être mieux décrits comme des unités de texte, qu’il s’agisse de lettres ou de mots.

Stability AI a longtemps été évangélique dans sa façon de parler de l’IA, avec Mostaque sonnant souvent le klaxon pour proliférer, open-source Programmes d’IA, qu’il pleuve ou qu’il pleuve. Mais l’entreprise aurait eu des difficultés avec l’argent ces derniers temps car il a tant dépensé pour développer ses projets d’IA et les entreprises les plus riches captent l’attention. La startup récemment a présenté son modèle Stable Diffusion XL axé sur l’entreprise c’est censé être encore meilleur que les précédents générateurs d’images AI de l’entreprise. Pourtant, la société a déclaré qu’elle prévoyait toujours d’ouvrir ce nouveau modèle d’IA générative… éventuellement.