ChatGPT est-il assez intelligent pour résoudre les problèmes sans mots ?

Le dernier d’une série d’articles de recherche spéculatifs sur l’IA fait des affirmations assez farfelues sur la façon dont les modèles d’apprentissage en profondeur ont des aspects subtils et non réalisés. capacités cognitives proches, voire supérieures à celles des humains. Bien que les chercheurs aient découvert qu’un modèle de transformateur de pré-formation moderne fonctionne bien à choix multiples tests qui ne nécessitent pas nécessairement de langage, ils n’ont toujours aucune idée honnête si l’IA fonde simplement ses réponses sur ses données de formation opaques.

Des chercheurs de l’Université de Californie à Los Angeles ont testé des « tâches analogiques » sur le grand modèle de langage GPT-3 et ont découvert qu’il était égal ou supérieur aux « capacités humaines » pour résoudre des problèmes de raisonnement complexes. UCLA n’a pas tardé à faire des déclarations plutôt farfelues sur la recherche dans son communiqué de presse Lundi, soulevant la question de savoir si l’IA « utilisait un type fondamentalement nouveau de processus cognitif ».

C’est une question intrinsèquement biaisée qui repose sur une vision sensationnelle des systèmes d’IA, mais regardons un peu plus en profondeur. Le chercheur postdoctoral en psychologie de l’UCLA Taylor Webb et les professeurs Keith Holyoak et Hongjing Lu ont publié leur papier dans la revue Nature Comportement humain. Ils ont comparé les réponses de l’IA à celles de 40 étudiants de premier cycle et ont découvert que le bot se situait au sommet des scores des humains, et qu’il avait même commis quelques-unes des mêmes erreurs.

En particulier, les chercheurs ont basé leurs tests sur le test non verbal appelé Raven’s Progressive Matrices développé depuis 1939. Il s’agit d’une liste de 60 tests à choix multiples. des questions qui deviennent plus difficiles au fur et à mesure, et elles nécessitent principalement que les candidats identifient un modèle. Certains ont extrapolé Raven pour mesurer le QI comme un score pour la capacité cognitive générale, d’autant plus que certains partisans disent qu’il n’en contient pas beaucoup préjugés ethniques ou culturels par rapport à d’autres tests d’intelligence intrinsèquement biaisés.

Heureusement, le journal n’essaie pas d’attribuer une couchette Score de QI à l’IA. Ils ont également demandé au bot de résoudre un ensemble de questions d’analogie SAT impliquant des paires de mots. Disons qu’un légume est lié à un chou. Par conséquent, un insecte équivaut à un « coléoptère », et ainsi de suite. Les chercheurs ont affirmé qu’à leur connaissance, les questions n’étaient pas apparues sur Internet et qu’il était « peu probable » qu’elles aient été englouties dans le cadre des données d’entraînement de GPT-3. Encore une fois, l’IA a fonctionné à un niveau légèrement supérieur au sac de viande moyen.

Il y a plusieurs problèmes que l’IA craint, ou peut-être est-ce plus un enfant STEM qu’un étudiant en sciences humaines. Il était beaucoup moins capable de résoudre des problèmes d’analogie basés sur des histoires courtes, bien que le GPT-4 plus récent et plus expansif était globalement meilleur à la tâche. Lorsqu’on lui a demandé d’utiliser un tas d’objets ménagers pour transférer des boules de gomme d’une pièce à une autre, l’IA a proposé des « solutions bizarres ».

Webb et ses collègues travaillent sur ce problème depuis près de six mois, et depuis leur préimpression initiale, ils ont ajouté plus de tests au modèle. Tous ces tests les ont amenés à commencer à théoriser ouvertement sur la façon dont le GPT-3 pourrait former une sorte de « processus de cartographie » similaire à la façon dont les humains sont théorisés pour résoudre de tels problèmes. Les chercheurs ont sauté sur l’idée que L’IA aurait pu développer un autre type d’intelligence artificielle.

La partie « spatiale » des tests impliquait souvent des formes, et il fallait que l’IA devine la forme ou le diagramme correct en se basant sur des formes similaires précédentes. Les auteurs de l’étude ont poursuivi en établissant des comparaisons avec les preneurs de tests de chair et de sang, affirmant que l’IA partageait de nombreuses caractéristiques similaires du «raisonnement analogique humain». Essentiellement, les chercheurs ont déclaré que l’IA raisonnait de la même manière que les humains en ayant le sens de la comparaison des formes.

Webb et ses collègues ont d’abord publié une préimpression de l’article en décembre. Là, le chercheur revendiqué GPT-3 n’avait « aucune formation » sur ces tests ou tâches connexes.

Il y a un problème fondamental avec quiconque essaie de prétendre qu’il y a quelque chose sur quoi l’IA n’est pas formée. Est-il possible qu’il n’y ait absolument rien de linguistique basé sur le test de Raven dans les 45 téraoctets complets de données d’entraînement utilisées par l’IA ? Peut-être, mais le créateur de GPT-3, OpenAI, n’a pas publié une liste complète de ce qui est contenu dans l’ensemble de données dont leur LLM a appris. C’est pour plusieurs raisons, l’une est de garder leur IA propriétaire sous clé pour mieux vendre leurs services. La seconde est de empêcher encore plus de gens de les poursuivre pour violation du droit d’auteur.

Auparavant, le PDG de Google, Sundar Pichai, avait affirmé dans une interview que, d’une manière ou d’une autre, le chatbot Bard de Google avait appris le bengali par lui-même. La chose est, les chercheurs ont trouvé bengali et d’autres langues qui se chevauchent existaient déjà dans les données d’apprentissage. La plupart des données de l’IA sont centré sur l’anglais et le «Ouest« , mais son apprentissage est si large et couvre une si vaste gamme d’informations qu’il y a une chance qu’un exemple de résolution de problèmes sans langue s’y est glissé.

Le communiqué de l’UCLA mentionne même que les chercheurs n’ont aucune idée de comment ou pourquoi l’IA fait tout cela car ils n’ont pas accès à la sauce secrète d’OpenAI. Ce que ce papier et d’autres aiment faire est de créer encore plus d’hystérie à propos de l’IA contenant une forme d' »intelligence » réelle. Le PDG d’OpenAI a longuement parlé des préoccupations de l’intelligence générale artificielle, une sorte de système informatique qui est réellement intelligent. Mais ce que cela signifie en pratique est nébuleux. Altman a décrit GPT-4 comme une « intelligence extraterrestre », dans une interview avec L’Atlantique où il a également décrit l’écriture de l’IA code informatique pour lequel il n’a pas été explicitement programmé.

Mais c’est aussi un jeu de coquille. Altman ne publiera pas le contenu des données de formation de l’IA, et comme il s’agit d’une grande boîte noire, l’entreprise, les partisans de l’IA et même des chercheurs bien intentionnés peuvent se laisser entraîner dans le battage médiatique en affirmant que les modèles de langage se libèrent de la cage numérique contenant il.

Vous voulez en savoir plus sur l’IA, les chatbots et l’avenir de l’apprentissage automatique ? Découvrez notre couverture complète de intelligence artificielleou parcourez nos guides pour Les meilleurs générateurs d’art AI gratuits, Les meilleures alternatives ChatGPT, et Tout ce que nous savons sur le ChatGPT d’OpenAI.