Les experts ne pensent pas que l'IA est prête à être un «co-scientifique»

Le mois dernier, Google a annoncé le «co-scientifique de l'IA», une IA qui a déclaré que la société a été conçue pour aider les scientifiques à créer des hypothèses et des plans de recherche. Google l'a présenté comme un moyen de découvrir de nouvelles connaissances, mais les experts pensent que cela – et des outils comme celui-ci – ne sont pas en deçà des promesses de relations publiques.

« Cet outil préliminaire, bien qu'intéressant, ne semble pas être sérieusement utilisé », a déclaré Sarah Beery, chercheuse en vision par ordinateur au MIT, à TechCrunch. «Je ne suis pas sûr qu'il existe une demande pour ce type de système de génération d'hypothèses de la communauté scientifique.»

Google est le dernier géant de la technologie pour faire avancer la notion selon laquelle l'IA accélérera considérablement un jour la recherche scientifique, en particulier dans des domaines dense de la littérature tels que la biomédecine. Dans un essai plus tôt cette année, le PDG d'OpenAI, Sam Altman, a déclaré que les outils «supentillelligents» d'IA pourraient «accélérer massivement la découverte et l'innovation scientifiques». De même, le PDG anthropique, Dario Amodei, a hardiment prédit que l'IA pourrait aider à formuler des remèdes pour la plupart des cancers.

Mais de nombreux chercheurs ne considèrent pas l'IA aujourd'hui comme étant particulièrement utile pour guider le processus scientifique. Des applications comme le co-scientifique de l'IA de Google semblent être plus hype que tout, disent-ils, non pris en charge par des données empiriques.

Par exemple, dans son article de blog décrivant le co-scientifique de l'IA, Google a déclaré que l'outil avait déjà démontré un potentiel dans des domaines tels que la réutilisation des médicaments pour la leucémie myéloïde aiguë, un type de cancer du sang qui affecte la moelle osseuse. Pourtant, les résultats sont si vagues que «aucun scientifique légitime ne prendrait au sérieux», a déclaré Favia Dubyk, un pathologiste affilié au Northwest Medical Center-Tucson en Arizona.

« Cela pourrait être utilisé comme un bon point de départ pour les chercheurs, mais (…) le manque de détails est inquiétant et ne me prête pas à lui faire confiance », a déclaré DuByk à TechCrunch. «Le manque d'informations fournies rend vraiment difficile de comprendre si cela peut vraiment être utile.»

Ce n'est pas la première fois que Google est critiquée par la communauté scientifique pour avoir trompé une percée supposée de l'IA sans fournir un moyen de reproduire les résultats.

En 2020, Google a revendiqué l'un de ses systèmes d'IA formés pour détecter les tumeurs mammaires a obtenu de meilleurs résultats que les radiologues humains. Des chercheurs de Harvard et Stanford ont publié une réfutation dans la revue Natureaffirmant le manque de méthodes détaillées et de code dans la recherche de Google «saper (d) sa valeur scientifique».

Les scientifiques ont également réprimandé Google pour avoir le silence sur les limites de ses outils d'IA destinés aux disciplines scientifiques telles que l'ingénierie des matériaux. En 2023, la société a déclaré qu'environ 40 «nouveaux matériaux» avaient été synthétisés à l'aide d'un de ses systèmes d'IA, appelé Gnome. Pourtant, une analyse extérieure n'a trouvé pas un seul des matériaux n'était en fait pas nouveau.

« Nous ne comprendrons pas vraiment les forces et les limites d'outils comme le » co-scientifique « de Google jusqu'à ce qu'ils subissent une évaluation rigoureuse et indépendante dans diverses disciplines scientifiques », a déclaré à TechCrunch Ashique Khudabukhsh, professeur adjoint de génie logiciel au Rochester Institute of Technology, à TechCrunch. «L'IA fonctionne souvent bien dans des environnements contrôlés mais peut échouer lorsqu'il est appliqué à grande échelle.»

Processus complexes

Une partie du défi dans le développement d'outils d'IA pour aider à la découverte scientifique est d'anticiper le nombre incalculable de facteurs de confusion. L'IA pourrait être utile dans les domaines où une vaste exploration est nécessaire, comme réduire une vaste liste de possibilités. Mais il est moins clair si l'IA est capable du type de résolution de problèmes prête à l'emploi qui conduit à des percées scientifiques.

« Nous avons vu à travers l'histoire que certaines des progrès scientifiques les plus importants, comme le développement des vaccins d'ARNm, étaient motivés par l'intuition humaine et la persévérance face au scepticisme », a déclaré Khudabukhsh. « L'IA, en l'état aujourd'hui, n'est peut-être pas bien adaptée à la réplique. »

Lana Sinapayen, chercheuse de l'IA chez Sony Computer Science Laboratories au Japon, estime que des outils tels que le co-scientifique de l'IA de Google se concentrent sur le mauvais type de travail scientifique.

Sinapayen voit une valeur authentique dans l'IA qui pourrait automatiser des tâches techniquement difficiles ou fastidieuses, comme résumer la nouvelle littérature académique ou le travail de mise en forme pour répondre aux exigences d'une demande de subvention. Mais il n'y a pas beaucoup de demande au sein de la communauté scientifique pour un co-scientifique de l'IA qui génère des hypothèses, dit-elle – une tâche à partir de laquelle de nombreux chercheurs dérivent l'accomplissement intellectuel.

« Pour de nombreux scientifiques, moi y compris, générer des hypothèses est la partie la plus amusante du travail », a déclaré Sinapayen à TechCrunch. «Pourquoi voudrais-je externaliser mon plaisir à un ordinateur, puis rester avec seulement le travail acharné pour faire moi-même? En général, de nombreux chercheurs génératifs d'IA semblent mal comprendre pourquoi les humains font ce qu'ils font, et nous nous retrouvons avec des propositions de produits qui automatisent la partie même dont nous obtenons la joie. »

Beery a noté que souvent l'étape la plus difficile du processus scientifique consiste à concevoir et à mettre en œuvre les études et les analyses pour vérifier ou réfuter une hypothèse – qui n'est pas nécessairement à la portée des systèmes d'IA actuels. L'IA ne peut pas utiliser d'outils physiques pour effectuer des expériences, bien sûr, et elle obtient souvent des problèmes sur les problèmes pour lesquels des données extrêmement limitées existent.

« La plupart des sciences ne sont pas possibles à faire entièrement pratiquement – il existe souvent une composante importante du processus scientifique qui est physique, comme la collecte de nouvelles données et la conduite d'expériences en laboratoire », a déclaré Beery. « Une grande limitation des systèmes (comme le co-scientifique de l'IA de Google) par rapport au processus scientifique réel, qui limite définitivement sa convivialité, est le contexte du laboratoire et du chercheur utilisant le système et leurs objectifs de recherche spécifiques, leur travail passé, leurs compétences et les ressources auxquelles ils ont accès. »

Risques d'IA

Les lacunes techniques et les risques techniques de l'IA – comme sa tendance à halluciner – rendent également les scientifiques se méfiant de l'approuver pour un travail sérieux.

Khudabukhsh craint les outils d'IA pourrait simplement finir par générer du bruit dans la littérature scientifique, et non d'élever les progrès.

C'est déjà un problème. Une étude récente a révélé que la «science de la malbouffe» en matière d'IA inonde Google Scholar, le moteur de recherche gratuit de Google pour la littérature savante.

« La recherche générée par l'AI, si elle n'est pas soigneusement surveillée, pourrait inonder le domaine scientifique d'études de qualité inférieure ou même trompeuses, écrasant le processus d'examen par les pairs », a déclaré Khudabukhsh. «Un processus de réexamen par les pairs dépassé est déjà un défi dans des domaines comme l'informatique, où les principales conférences ont connu une augmentation exponentielle des soumissions.»

Même des études bien conçues pourraient finir par être entachées par une mauvaise conduite de l'IA, a déclaré Sinapayen. Bien qu'elle aime l'idée d'un outil qui pourrait aider à la revue de la littérature et à la synthèse, Sinapayen a déclaré qu'elle ne ferait pas confiance à l'IA aujourd'hui pour exécuter ce travail de manière fiable.

« Ce sont des choses que divers outils existants prétendent faire, mais ce ne sont pas des emplois que je laisserais personnellement la hauteur de l'IA actuelle », a déclaré Sinapayen, ajoutant qu'elle conteste la façon dont de nombreux systèmes d'IA sont formés et la quantité d'énergie qu'ils consomment également. «Même si tous les problèmes éthiques (…) ont été résolus, l'IA actuelle n'est tout simplement pas assez fiable pour que je fonde mon travail sur leur sortie d'une manière ou d'une autre.»