AlphaCode de DeepMind peut surpasser les codeurs humains

Lorsqu’il s’agit de suivre les progrès progressifs de Potentiel de l’IA, les humains ont une étrange tendance à penser en termes de jeux de société que nous n’a probablement pas joué depuis l’enfance. Bien que les exemples ne manquent pas, même récent ceuxsoulignant la capacité de l’IA à s’approprier totalement l’espace de jeu en carton, ces tests ne vont que jusqu’à illustrer l’efficacité de la technologie pour résoudre les problèmes du monde réel.

Un «défi» potentiellement bien meilleur serait de mettre une IA côte à côte avec des humains dans un concours de programmation. Alphabet-DeepMind a fait exactement cela avec son AlphaCode maquette. Les résultats? Eh bien, AlphaCode a bien fonctionné mais pas exceptionnel. La performance globale du modèle, selon un article publié dans La science partagé avec Gizmodo, correspond à un « programmeur débutant » avec quelques mois à un an de formation. Une partie de ces découvertes a été faite Publique par DeepMind plus tôt cette année.

Lors du test, AlphaCode a été en mesure d’atteindre des « performances approximativement au niveau humain » et de résoudre des problèmes de langage naturel inédits lors d’un concours en prédisant des segments de code et en créant des millions de solutions potentielles. Après avoir généré la pléthore de solutions, AlphaCode les a ensuite filtrées jusqu’à un maximum de 10 solutions, qui, selon les chercheurs, ont toutes été générées, « sans aucune connaissance intégrée de la structure du code informatique ».

AlphaCode a reçu un classement moyen dans le top 54,3% des évaluations simulées lors des récentes compétitions de codage sur la plate-forme de codage concurrentielle Codeforces lorsqu’il est limité aux solutions de génération 10 par problème. 66% de ces problèmes, cependant, ont été résolus en utilisant sa première soumission.

Cela peut ne pas sembler si impressionnant, en particulier par rapport aux performances de modèles apparemment plus fortes contre les humains dans des jeux de société complexes, bien que les chercheurs notent que réussir aux compétitions de codage est particulièrement difficile. Pour réussir, AlphaCode devait d’abord comprendre des problèmes de codage complexes en langages naturels, puis « raisonner » sur des problèmes imprévus plutôt que de simplement mémoriser des extraits de code. AlphaCode a été capable de résoudre des problèmes qu’il n’avait pas vus auparavant, et les chercheurs affirment n’avoir trouvé aucune preuve que leur modèle a simplement copié le logix de base à partir des données de formation. Combinés, les chercheurs affirment que ces facteurs font des performances d’AlphaCode un « grand pas en avant ».

« En fin de compte, AlphaCode fonctionne remarquablement bien sur des défis de codage inédits, quel que soit le degré auquel il comprend » vraiment « la tâche », a écrit l’Université Carnegie Mellon, professeur J. Zico Kolter du Centre Bosch pour l’IA dans un récent Perspective article commentant l’étude.

AlphaCode n’est pas le seul modèle d’IA développé avec le codage à l’esprit. Plus particulièrement, OpenAI a adapté son modèle de langage naturel GPT-3 pour créer une fonction de saisie semi-automatique qui peut nuire aux lignes de code. GitHub possède également son propre outil de programmation AI populaire appelé Copilote. Cependant, aucun de ces programmes n’a montré autant de prouesses face aux humains pour résoudre des problèmes de concurrence complexes.

Bien que nous en soyons encore aux premiers jours de la génération de code assistée par l’IA, les chercheurs de DeepMind sont convaincus que les récents succès d’AlphaCode conduiront à des applications utiles pour les programmeurs humains sur toute la ligne. En plus d’augmenter la productivité générale, les chercheurs affirment qu’AlphaCode pourrait également « rendre la programmation plus accessible à une nouvelle génération de développeurs ». Au plus haut niveau, les chercheurs affirment qu’AlphaCode pourrait un jour potentiellement conduire à un changement culturel dans la programmation où les humains existent principalement pour formuler des problèmes que l’IA’s sont ensuite chargés de résoudre.

Dans le même temps, certains détracteurs de l’espace de l’IA ont remis en question l’efficacité des modèles de formation de base qui sous-tendent de nombreux modèles d’IA avancés. Le mois dernier, un programmeur du nom de Matthew Butterick a déposé une première du genre procès contre Microsoft-propriétaire de GitHub, arguant que son outil d’assistant Copilot AI ignore ou supprime de manière flagrante les licences présentées par les ingénieurs logiciels au cours de sa phase d’apprentissage et de test. Cette utilisation libérale du code d’autres programmeurs, selon Butterick, équivaut à « un piratage de logiciels à une échelle sans précédent ». Les résultats de ce procès pourraient jouer un rôle important dans déteuhining la facilité avec laquelle les développeurs d’IA, en particulier ceux qui entraînent leurs modèles sur le code d’anciens humains, peuvent améliorer et faire progresser leurs modèles.