L’IA cette semaine : le concours de piratage d’IA de DEFCON

Titres cette semaine

• S’il y a une chose que vous faites cette semaine, c’est d’écouter Werner Herzog Lire la poésie écrit par un chatbot.
• Le New York Times a interdit Les vendeurs d’IA de gratter ses archives pour former des algorithmes, et les tensions entre le journal et l’industrie technologique semblent élevées. Plus à ce sujet ci-dessous.
• Un district scolaire de l’Iowa a trouvé une nouvelle utilisation pour ChatGPT : interdire les livres.
• Corporate America veut vous séduire avec un Travail d’IA de 900 000 $ par an.
• DEFCON Hackathon IA ont cherché à dévoiler les vulnérabilités dans les grands modèles de langage. Découvrez notre interview avec l’organisateur de l’événement.
• Enfin et surtout : l’intelligence artificielle dans le secteur de la santé semble être un désastre total.

L’histoire principale : l’API de modération de contenu d’OpenAI

Cette semaine, OpenAI lancé une API pour la modération de contenu qui, selon elle, aidera à réduire la charge des modérateurs humains. L’entreprise dit que GPT-4son dernier grand modèle de langage, peut être utilisé à la fois pour la prise de décision en matière de modération de contenu et développement de la politique de contenu. En d’autres termes, l’affirmation ici est que cet algorithme n’aidera pas seulement les plates-formes à rechercher les mauvais contenus ; cela les aidera également à rédiger les règles sur la façon de rechercher ce contenu et leur indiquera également les types de contenu à rechercher. Malheureusement, certains spectateurs ne sont pas si sûrs que des outils comme celui-ci ne causeront pas plus de problèmes qu’ils n’en résolvent.

Si vous avez prêté attention à ce problème, vous savez qu’OpenAI prétend offrir une solution partielle à un problème aussi ancien que les médias sociaux eux-mêmes. Ce problème, pour les non-initiés, ressemble à ceci : les espaces numériques comme Twitter et Facebook sont si vastes et si remplis de contenu qu’il est pratiquement impossible pour les systèmes gérés par l’homme de les contrôler efficacement. En conséquence, bon nombre de ces plates-formes regorgent de contenu toxique ou illégal; que le contenu pose non seulement des problèmes juridiques pour les plates-formes en question, mais les oblige à embaucher des équipes de modérateurs humains assiégés qui sont mis dans le traumatisant position d’avoir à passer au crible toutes ces choses terribles, souvent pour des salaires terriblement bas. Ces dernières années, les plateformes ont promis à plusieurs reprises que les progrès de l’automatisation finiraient par échelle d’aide efforts de modération au point où les mods humains sont de moins en moins nécessaires. Pendant tout aussi longtemps, cependant, les critiques se sont inquiétés que ce pronostic plein d’espoir pourrait ne jamais se réaliser.

Emma Llansó, directrice du projet Free Expression du Centre pour la démocratie et la technologie, a exprimé à plusieurs reprises critique des limites que l’automatisation peut apporter dans ce contexte. Lors d’un appel téléphonique avec Gizmodo, elle a également exprimé son scepticisme à l’égard du nouvel outil d’OpenAI.

« Il est intéressant de voir comment ils définissent ce qui est finalement un produit qu’ils veulent vendre aux gens comme quelque chose qui aidera vraiment à protéger les modérateurs humains des véritables horreurs de la modération de contenu de première ligne », a déclaré Llansó. Elle a ajouté: « Je pense que nous devons être vraiment sceptiques quant à ce qu’OpenAI prétend que leurs outils peuvent – ou, peut-être à l’avenir, pourrait-être capable de faire. Pourquoi vous attendriez-vous à ce qu’un outil qui hallucine régulièrement de fausses informations puisse vous aider à modérer la désinformation sur votre service ? »

Dans son annonce, OpenAI a consciencieusement noté que le jugement de son API n’est peut-être pas parfait. La société a écrit : « Les jugements des modèles linguistiques sont vulnérables aux biais indésirables qui auraient pu être introduits dans le modèle pendant la formation. Comme pour toute application d’IA, les résultats et les résultats devront être soigneusement surveillés, validés et affinés en maintenant les humains au courant. »

L’hypothèse ici devrait être que des outils comme l’API de modération GPT-4 sont « très en développement et ne constituent pas réellement une solution clé en main à tous vos problèmes de modération », a déclaré Llansó.

Dans un sens plus large, la modération de contenu présente non seulement des problèmes techniques mais aussi des problèmes éthiques. Les systèmes automatisés attrapent souvent des personnes qui n’ont rien fait de mal ou qui ont l’impression que l’infraction pour laquelle elles ont été bannies n’en était pas réellement une. Parce que la modération implique nécessairement une certaine dose de jugement moral, il est difficile de voir comment une machine – qui n’en a pas – pourra réellement nous aider à résoudre ce genre de dilemmes.

« La modération de contenu est vraiment difficile », a déclaré Llansó. « Une chose que l’IA ne pourra jamais résoudre pour nous est le consensus sur ce qui doit être retiré (d’un site). Si les humains ne peuvent pas s’entendre sur ce qu’est le discours de haine, l’IA ne résoudra pas ce problème comme par magie pour nous.

Question du jour : le New York Times poursuivra-t-il OpenAI ?

La réponse est : nous ne le savons pas encore, mais cela ne se présente certainement pas bien. Mercredi, NPR signalé que le New York Times envisageait de déposer une plainte pour plagiat contre OpenAI pour des violations présumées du droit d’auteur. Des sources du Times affirment que OpenAI ChatGPT a été formé avec des données du journal, sans l’autorisation du journal. Cette même allégation – selon laquelle OpenAI a récupéré et efficacement monétisé des données propriétaires sans demander – a déjà conduit à plusieurs procès des autres partis. Au cours des derniers mois, OpenAI et le Times ont apparemment tenté de conclure un accord de licence pour le contenu du Times, mais il semble que cet accord s’effondre. Si le NYT poursuit effectivement et qu’un juge juge qu’OpenAI s’est comporté de cette manière, la société pourrait être forcée de jeter son algorithme et de le reconstruire sans utiliser de matériel protégé par le droit d’auteur. Ce serait une défaite cuisante pour l’entreprise.

La nouvelle fait suite à un modification des conditions d’utilisation du Times qui a interdit aux fournisseurs d’IA d’utiliser ses archives de contenu pour former leurs algorithmes. Cette semaine également, l’Associate Press a publié de nouvelles lignes directrices de la salle de rédaction pour l’intelligence artificielle qui a interdit l’utilisation des chatbots pour générer du contenu publiable. En bref : l’industrie de l’IA tente de séduire les médias d’information ne semblent pas payer, du moins pas encore.

L’interview : un hacker DEFCON explique l’importance de débrider votre chatbot préféré

Cette semaine, nous avons parlé à Alex Levinson, responsable de la sécurité pour ScaleAIhabitué de longue date DEFCON (15 ans !), et l’un des responsables de la mise en scène de cette année Hackathon de chatbot IA. Ce concours DEFCON a réuni quelque 2 200 personnes pour tester les défenses de huit grands modèles de langage différents fournis par des fournisseurs notables. Outre la participation d’entreprises telles que ScaleAI, Anthropic, OpenAI, Hugging Face et Google, l’événement a également été soutenu par le Bureau de la science, de la technologie et de la politique de la Maison Blanche. Alex a construit la plateforme de test qui a permis à des milliers de participants de pirater les chatbots en question. Un rapport sur les résultats du concours sera publié en février. Cette interview a été modifiée par souci de concision et de clarté.

Pourriez-vous décrire le défi de piratage que vous avez mis en place et comment il s’est déroulé ?

(L’exercice d' »équipe rouge » de l’IA de cette année comportait un certain nombre de « défis » pour les participants qui souhaitaient tester les défenses des modèles. Couverture de l’actualité montre que les pirates ont tenté d’inciter les chatbots à diverses formes de mauvaise conduite via une manipulation rapide. L’idée plus large derrière le concours était de voir où les applications d’IA pourraient être vulnérables à l’incitation à un comportement toxique.)

L’exercice impliquait huit grands modèles de langage. Ceux-ci étaient tous gérés par les fournisseurs de modèles, nous les intégrons dans leurs API pour relever les défis. Lorsque vous cliquiez sur un défi, cela vous déposait essentiellement dans une interface de type chat où vous pouviez commencer à interagir avec ce modèle. Une fois que vous avez senti que vous aviez obtenu la réponse que vous vouliez, vous pouviez la soumettre pour notation, où vous écrirez une explication et cliquerez sur « soumettre ».

Y avait-il quelque chose de surprenant dans les résultats du concours ?

Je ne pense pas qu’il y en avait… encore. Je dis cela parce que la quantité de données qui a été produite par cela est énorme. Nous avons eu 2 242 personnes qui ont joué au jeu, juste dans la fenêtre où il était ouvert à DEFCON. Quand vous regardez comment l’interaction a eu lieu avec le jeu, (vous réalisez) qu’il y a une tonne de données à parcourir… Beaucoup des dommages que nous testions étaient probablement quelque chose d’inhérent au modèle ou à sa formation. Un exemple est si vous avez dit, ‘Qu’est-ce que 2 + 2?’ et la réponse du modèle serait « 5 ». Vous n’avez pas trompé le modèle pour qu’il fasse de mauvaises mathématiques, c’est juste intrinsèquement mauvais en mathématiques.

Pourquoi un chatbot penserait-il 2 + 2 = 5 ?

Je pense que c’est une excellente question pour un vendeur de modèles. En règle générale, chaque modèle est différent… Cela dépend probablement en grande partie de la façon dont il a été formé, des données sur lesquelles il a été formé et de la façon dont il a été affiné.

Quelle était l’implication de la Maison Blanche ?

Ils avaient récemment publié les principes de l’IA et charte des droits(qui a tenté) de mettre en place des cadres par lesquels les tests et l’évaluation (des modèles d’IA) peuvent potentiellement se produire… Pour eux, la valeur qu’ils ont vue était de montrer que nous pouvons tous nous rassembler en tant qu’industrie et le faire en toute sécurité et de manière productive.

Vous travaillez depuis longtemps dans le domaine de la sécurité. On a beaucoup parlé de l’utilisation d’outils d’intelligence artificielle pour automatiser certaines parties de la sécurité. Je suis curieux de savoir ce que vous en pensez. Considérez-vous les progrès de cette technologie comme une chose potentiellement utile pour votre industrie ?

Je pense que c’est extrêmement précieux. Je pense que généralement, là où l’IA est la plus utile, c’est en fait du côté défensif. Je sais que des choses comme WormGPT attirer toute l’attention, mais il y a tellement d’avantages pour un défenseur avec une IA générative. Trouver des moyens d’ajouter cela dans notre flux de travail va changer la donne pour la sécurité … (Par exemple, il est) capable de faire une classification et de prendre quelque chose qui est du texte non structuré et de le générer dans un schéma commun, une action alert, une métrique qui se trouve dans une base de données.

Donc, il peut en quelque sorte faire l’analyse pour vous?

Exactement. Il fait un excellent premier passage. Ce n’est pas parfait. Mais si nous pouvons passer plus de temps à doubler simplement la vérification de son travail et moins de temps à faire le travail qu’il fait… c’est un gros gain d’efficacité.

On parle beaucoup d’« hallucinations » et de la propension de l’IA à inventer des choses. Est-ce préoccupant dans une situation de sécurité?

(Utiliser un grand modèle de langage, c’est) un peu comme avoir un stagiaire ou un nouveau diplômé dans votre équipe. Il est vraiment ravi de vous aider et c’est parfois faux. Vous devez juste être prêt à être comme, ‘C’est un peu décalé, corrigeons ça.’

Vous devez donc avoir les connaissances de base requises (pour savoir si cela vous donne de mauvaises informations).

Correct. Je pense que cela vient en grande partie de la contextualisation des risques. Je vais examiner de plus près ce qu’il me dit si j’essaie de configurer un pare-feu de production… Si je lui demande : « Hé, quel était ce film dans lequel Jack Black était dans les années 90 ? » ça va présenter moins de risques si c’est faux.

Il y a eu beaucoup de discussions sur la façon dont les technologies automatisées vont être utilisées par les cybercriminels. À quel point certains de ces nouveaux outils peuvent-ils être entre de mauvaises mains ?

Je ne pense pas que cela présente plus de risques que nous n’en avons déjà eu… Cela rend simplement la (cybercriminalité) moins chère à faire. Je vais vous donner un exemple : les e-mails de phishing… vous pouvez mener des campagnes de phishing de haute qualité (sans IA). L’IA générative n’a pas fondamentalement changé cela – elle a simplement créé une situation où il y a une barrière à l’entrée plus faible.