En novembre dernier, lorsque OpenAI a annoncé son projet de créer une place de marché où chacun pourrait créer et trouver des versions sur mesure de la technologie ChatGPT, la société a déclaré que « les meilleurs GPT seront inventés par la communauté ». Neuf mois après le lancement officiel de la boutique, une analyse de Gizmodo sur la place de marché gratuite montre que de nombreux développeurs utilisent la plateforme pour fournir des GPT (ou modèles de transformateurs pré-entraînés génératifs) qui semblent enfreindre les politiques d'OpenAI, notamment des outils de type chatbot qui créent explicitement du porno généré par l'IA, aident les étudiants à tricher sans être détectés et offrent des conseils médicaux et juridiques faisant autorité.
Les GPT incriminés sont faciles à trouver. Le 2 septembre, la page d'accueil de la place de marché d'OpenAI faisait la promotion d'au moins trois GPT personnalisés qui semblaient enfreindre les politiques de la boutique : un chatbot « Thérapeute – Psychologue », un « coach doctoral en fitness, entraînement et régime alimentaire » et BypassGPT, un outil conçu pour aider les étudiants à échapper aux systèmes de détection d'écriture de l'IA, qui a été utilisé plus de 50 000 fois.
La recherche de « NSFW » dans la boutique a donné des résultats tels que NSFW AI Art Generator, un GPT personnalisé par Offrobe AI qui a été utilisé plus de 10 000 fois, selon les données de la boutique. L'interface de chat du GPT renvoie vers le site Web d'Offrobe AI, qui indique clairement son objectif : « Générer du porno IA pour satisfaire vos envies sombres. »
« Ce qui est intéressant avec OpenAI, c’est qu’ils ont une vision apocalyptique de l’IA et de la façon dont ils nous sauvent tous de cette IA », a déclaré Milton Mueller, directeur du projet de gouvernance de l’Internet au Georgia Institute of Technology. « Mais je pense que c’est particulièrement amusant qu’ils ne puissent même pas imposer une chose aussi simple que l’interdiction de la pornographie basée sur l’IA alors qu’ils affirment en même temps que leurs politiques vont sauver le monde. »
Les générateurs de pornographie par IA, les créateurs de deepfakes et les chatbots qui fournissaient des recommandations de paris sportifs ont été retirés de la boutique après que Gizmodo a partagé avec OpenAI une liste de plus de 100 GPT qui semblent enfreindre les politiques de l'entreprise. Mais au moment de la publication, de nombreux GPTS que nous avons trouvés, y compris des outils de triche populaires et des chatbots offrant des conseils médicaux, restaient disponibles et étaient promus sur la page d'accueil de la boutique.
Dans de nombreux cas, les robots ont été utilisés des dizaines de milliers de fois. Un autre GPT frauduleux, appelé Bypass Turnitin Detection, qui promet d’aider les étudiants à échapper au logiciel anti-plagiat Turnitin, a été utilisé plus de 25 000 fois, selon les données du magasin. Il en va de même pour DoctorGPT, un robot qui « fournit des informations et des conseils médicaux fondés sur des preuves ».
Lorsqu'elle a annoncé qu'elle autorisait les utilisateurs à créer des GPT personnalisés, la société a déclaré que des systèmes étaient en place pour surveiller les outils en cas de violation de ses politiques. Ces politiques incluent l'interdiction d'utiliser sa technologie pour créer du contenu sexuellement explicite ou suggestif, fournir des conseils médicaux et juridiques personnalisés, promouvoir la tricherie, faciliter les jeux de hasard, usurper l'identité d'autres personnes, interférer avec le vote et une variété d'autres utilisations.
En réponse aux questions de Gizmodo sur les GPT que nous avons trouvés disponibles dans sa boutique, Taya Christianson, porte-parole d'OpenAI, a déclaré : « Nous avons pris des mesures contre ceux qui enfreignent nos politiques. Nous utilisons une combinaison de systèmes automatisés, d'examens humains et de rapports d'utilisateurs pour trouver et évaluer les GPT qui enfreignent potentiellement nos politiques. Nous proposons également des outils de signalement intégrés au produit pour que les utilisateurs puissent signaler les GPT qui enfreignent nos règles. »
D’autres médias ont déjà alerté OpenAI sur des problèmes de modération de contenu sur sa boutique. Et les titres de certains des GPT proposés suggèrent que les développeurs savent également que leurs créations vont à l’encontre des règles d’OpenAI. Plusieurs des outils trouvés par Gizmodo incluaient des clauses de non-responsabilité, mais annonçaient ensuite explicitement leur capacité à fournir des conseils « d’experts », comme un GPT intitulé Texas Medical Insurance Claims (pas de conseils juridiques), qui dit qu’il est « votre expert de référence pour naviguer dans les complexités de l’assurance médicale au Texas, offrant des conseils clairs et pratiques avec une touche personnelle ».
Mais la plupart des GPT juridiques et médicaux que nous avons trouvés n'incluent pas de telles clauses de non-responsabilité, et un certain nombre d'entre eux se présentent de manière trompeuse comme des avocats ou des médecins. Par exemple, un GPT appelé AI Immigration Lawyer se décrit comme « un avocat en immigration IA très compétent, doté d'informations juridiques actualisées ».
Des recherches menées par le RegLab et l'Institute for Human-Centered AI de l'Université de Stanford montrent que les modèles GPT-4 et GPT-3.5 d'OpenAI ont des hallucinations (inventent des informations incorrectes) plus de la moitié du temps où on leur pose une question juridique.
Les développeurs de GPT personnalisés ne profitent pas actuellement directement du marché, mais OpenAI a déclaré qu'il prévoyait d'introduire un modèle de partage des revenus qui rémunérera les développeurs en fonction de la fréquence d'utilisation de leur GPT.
Si OpenAI continue de fournir un écosystème où les développeurs peuvent s'appuyer sur sa technologie et commercialiser leurs créations sur sa plateforme, il devra prendre des décisions difficiles en matière de modération de contenu qui ne peuvent être résolues par quelques lignes de code pour bloquer certains mots-clés, selon Mueller.
« Donnez-moi la technologie que vous voulez, je peux trouver des moyens de faire des choses que vous ne voulez pas que je fasse », a-t-il déclaré. « C'est un problème très difficile et il doit être résolu par des moyens automatisés pour faire face à l'ampleur d'Internet, mais ce sera toujours un travail en cours et il faudra des processus d'appel dirigés par des humains. »