L’avenir de l’IA est en jeu avec la loi californienne

Un projet de loi californien qui tente de réglementer les grands modèles d'IA de pointe crée une impasse dramatique sur l'avenir de l'IA. Pendant des années, l'IA a été divisée en « accélération » et « décélération ». Les accélérants veulent que l’IA progresse rapidement – ​​avancez vite et cassez les choses – tandis que les décélérateurs veulent que le développement de l’IA ralentisse pour le bien de l’humanité. La bataille est passée sous les projecteurs nationaux lorsque Le conseil d'administration d'OpenAI a brièvement évincé Sam Altmandont beaucoup ont depuis séparé de la startup au nom de la sécurité de l’IA. Aujourd’hui, un projet de loi californien rend ce combat politique.

Qu'est-ce que le SB 1047 ?

BS 1047 est un projet de loi de l’État de Californie qui rendrait les grands fournisseurs de modèles d’IA – tels que Meta, OpenAI, Anthropic et Mistral – responsables des dangers potentiellement catastrophiques de leurs systèmes d’IA. Le projet de loi, rédigé par le sénateur d'État Scott Wiener, a été adopté par le Sénat de Californie en mai et franchi un autre obstacle majeur vers l'adoption d'une loi cette semaine.

Pourquoi devrais-je m'en soucier?

Eh bien, cela pourrait devenir la première véritable réglementation de l’IA aux États-Unis avec du mordant, et cela se produit en Californie, où se trouvent toutes les grandes entreprises d’IA.

Wiener décrit la facture comme établissant « des normes de sécurité claires, prévisibles et de bon sens pour les développeurs des systèmes d’IA les plus grands et les plus puissants ». Mais tout le monde ne le voit pas de cette façon. Beaucoup dans la Silicon Valley tirent la sonnette d’alarme : cette loi tuera l’ère de l’IA avant qu’elle ne commence.

Que fait réellement le SB 1047 ?

Le SB 1047 rend les fournisseurs de modèles d’IA responsables de tout « préjudice critique », en soulignant spécifiquement leur rôle dans la création d’« événements faisant de nombreuses victimes ». Aussi étrange que cela puisse paraître, c’est important parce que la Silicon Valley a historiquement éludé la plupart des responsabilités pour ses torts. Le projet de loi autorise le procureur général de Californie à engager des poursuites judiciaires contre ces entreprises si l'un de leurs modèles d'IA cause de graves dommages aux Californiens.

Le SB 1047 comprend également une disposition « d’arrêt » qui oblige effectivement les sociétés d’IA à créer un kill switch pour un modèle d’IA en cas d’urgence.

Le projet de loi crée également la « Frontier Model Division » au sein de l'Agence des opérations gouvernementales de Californie. Ce groupe « fournirait des conseils » à ces fournisseurs de modèles d’IA pionniers sur les normes de sécurité que chaque entreprise devrait respecter. Si les entreprises ne tiennent pas compte des recommandations de la Division, elles pourraient être poursuivies et faire face à des sanctions civiles.

Qui soutient ce projet de loi ?

Outre le sénateur Wiener, deux éminents chercheurs en IA, parfois surnommés les « parrains de l’IA », Geoffrey Hinton et Yoshua Bengio, ont inscrit leur nom sur ce projet de loi. Ces deux-là ont joué un rôle très important en lançant des appels d’avertissement sur les dangers de l’IA.

Plus largement, ce projet de loi s’inscrit dans la perspective de la décélération, selon laquelle l’IA a une probabilité relativement élevée de mettre fin à l’humanité et devrait être réglementée en tant que telle. La plupart de ces personnes sont des chercheurs en IA et n’essaient pas activement de commercialiser un produit d’IA car, vous savez, ils pensent que cela pourrait mettre fin à l’humanité.

Le projet de loi est parrainé par le Center for AI Safety, dirigé par Dan Hendrycks. Son groupe a publié un lettre ouverte en mai 2023 affirmant que le risque d’extinction humaine posé par l’IA devrait être pris aussi au sérieux que les guerres nucléaires ou les pandémies. Il a été signé par Sam Altman, Bill Gates, Grimes et de nombreux techniciens influents. Il s'agit d'un groupe influent et d'un acteur clé dans la promotion de ce projet de loi.

En mars 2023, les décéls ont appelé à un « Pause » sur tout développement de l’IA pour mettre en place une infrastructure de sécurité. Même si cela semble extrême, il existe de nombreuses personnes intelligentes dans la communauté de l'IA qui croient vraiment que l'IA pourrait mettre fin à l'humanité. Leur idée est que s'il existe une quelconque probabilité que l'IA mette fin à l'humanité, nous devrions probablement la réglementer strictement, juste au cas où.

Ça a du sens. Alors, qui est contre le SB 1047 ?

Si vous êtes sur X, vous avez l'impression que tout le monde dans la Silicon Valley est contre le SB 1047. Les investisseurs en capital-risque, les fondateurs de startups, les chercheurs en IA et les dirigeants de la communauté de l'IA open source détestent ce projet de loi. Je classerais généralement ces gens dans la catégorie des accélérateurs, ou du moins, c'est là qu'ils atterrissent sur cette question. Beaucoup d’entre eux travaillent dans le domaine de l’IA, mais certains sont également des chercheurs.

Le sentiment général est que le SB 1047 pourrait forcer les fournisseurs de modèles d’IA tels que Meta et Mistral à réduire, voire à arrêter complètement, leurs efforts en matière d’open source. Ce projet de loi les rend responsables des mauvais acteurs qui utilisent leurs modèles d’IA, et ces entreprises pourraient ne pas assumer cette responsabilité en raison des difficultés liées à l’imposition de restrictions sur l’IA générative et de la nature ouverte des produits.

« Cela tuera, écrasera et ralentira complètement l'écosystème des startups open source », a déclaré Anjney Midha, associé général d'A16Z et directeur du conseil d'administration de Mistral, dans une interview avec Gizmodo. « Ce projet de loi revient à tenter de freiner les progrès de l'imprimerie, au lieu de se concentrer sur ce qui devrait être, à savoir les utilisations de l'imprimerie. »

« L'Open Source est notre meilleur espoir de garder une longueur d'avance en réunissant des tests de sécurité transparents pour les modèles émergents, plutôt que de laisser quelques entreprises puissantes contrôler l'IA en secret », a déclaré Ion Stoica, professeur d'informatique à Berkeley et président exécutif de Databricks, dans un communiqué. entretien.

Midha et Stoica ne sont pas les seuls à considérer la réglementation de l’IA comme étant existentielle pour l’industrie. L’IA open source a alimenté la scène des startups de la Silicon Valley la plus florissante depuis des années. Les opposants au SB 1047 affirment que le projet de loi profitera aux opérateurs historiques fermés des grandes technologies au lieu de cet écosystème ouvert et florissant.

« Je vois vraiment cela comme un moyen de bloquer le développement de l'IA open source, dans le cadre d'une stratégie plus large visant à ralentir l'IA », a déclaré Jeremy Nixon, créateur de l'AGI House, qui sert de plaque tournante pour les hackathons d'IA open source de la Silicon Valley. « Le projet de loi émane d'une communauté très intéressée par l'arrêt de l'IA en général. »

Cela semble très technique. Les législateurs peuvent-ils tout faire correctement ?

C'est tout à fait technique, et cela a créé quelques problèmes. Le projet de loi SB 1047 ne s'applique qu'aux « grands » modèles de frontière, mais quelle est la taille d'un grand modèle ? Le projet de loi le définit comme des modèles d'IA entraînés sur 10^26 FLOPS et coûtant plus de 100 millions de dollars à entraîner, une quantité spécifique et très importante de puissance de calcul selon les normes actuelles. Le problème est que l'IA se développe très rapidement, et les modèles de pointe de 2023 semblent minuscules par rapport aux normes de 2024. Planter un drapeau dans le sable ne fonctionne pas bien pour un domaine qui évolue aussi rapidement.

Il n’est pas non plus clair s’il est même possible d’empêcher complètement les systèmes d’IA de se comporter mal. La vérité est que nous ne savons pas grand-chose sur le fonctionnement des LLM, et les principaux modèles d'IA actuels d'OpenAI, d'Anthropic et de Google sont constamment jailbreakés. C'est pourquoi certains chercheurs estiment que les régulateurs devraient se concentrer sur les mauvais acteurs, et non sur les fournisseurs modèles.

« Avec l'IA, vous devez réguler le cas d'utilisation, l'action, et non les modèles eux-mêmes », a déclaré Ravid Shwartz Ziv, professeur adjoint étudiant l'IA à NYU aux côtés de Yann Lecunn, dans une interview. « Les meilleurs chercheurs du monde peuvent consacrer un temps infini à un modèle d'IA, et les gens sont toujours capables de le jailbreaker. »

Un autre élément technique de ce projet de loi concerne les modèles d'IA open source. Si une startup prend Llama 3 de Meta, l'un des modèles d'IA open source les plus populaires, et le peaufine pour en faire quelque chose de dangereux, Meta est-elle toujours responsable de ce modèle d'IA ?

Pour l'instant, le lama de Meta n'atteint pas le seuil d'un « modèle couvert », mais il le fera probablement à l'avenir. En vertu de ce projet de loi, il semble que Meta pourrait certainement être tenue responsable. Il y a une mise en garde : si un développeur dépense plus de 25 % du coût pour former Llama 3 aux réglages fins, ce développeur en est désormais responsable. Cela dit, les opposants au projet de loi trouvent toujours cette approche injuste et non appropriée.

Question rapide : l'IA est-elle réellement une liberté d'expression ?

Pas clair. De nombreux membres de la communauté de l'IA considèrent l'IA open source comme une sorte de liberté d'expression (c'est pourquoi Midha l'a qualifiée de presse à imprimer). Le principe est que le code sous-jacent à un modèle d’IA est une forme d’expression et que les sorties du modèle sont également des expressions. Le Code est historiquement tombé sous le coup du premier amendement dans plusieurs cas.

Trois professeurs de droit ont argumenté un article de Lawfare que les modèles d’IA ne sont pas exactement la liberté d’expression. D’une part, ils affirment que les pondérations qui composent un modèle d’IA ne sont pas écrites par des humains mais créées grâce à de vastes opérations d’apprentissage automatique. Les humains peuvent à peine les lire.

Quant aux résultats des modèles d’IA frontaliers, ces systèmes sont un peu différents des algorithmes des médias sociaux, qui ont été considérés par le passé comme relevant du premier amendement. Les modèles d’IA ne prennent pas exactement un point de vue, ils disent beaucoup de choses. Pour cette raison, ces professeurs de droit affirment que le SB 1047 ne peut pas empiéter sur le premier amendement.

Alors, quelle est la prochaine étape ?

Le projet de loi se dirige rapidement vers un vote en août qui approche à grands pas, ce qui l'enverrait sur le bureau du gouverneur Gavin Newsom. Il doit encore franchir quelques obstacles clés pour y parvenir, et même dans ce cas, Newsom pourrait ne pas le signer en raison de la pression de la Silicon Valley. Un grand groupe commercial de technologie vient d’envoyer à Newsom une lettre lui disant de ne pas signer le SB 1047.

Cependant, Newsom voudra peut-être créer un précédent pour le pays en matière d’IA. Si le SB 1047 entre en vigueur, il pourrait changer radicalement le paysage de l’IA en Amérique.

Correction, 25 juin : Une version précédente de cet article ne définissait pas ce que sont les « préjudices critiques ». Il a également indiqué que le Llama 3 de Meta pourrait être affecté, mais que le modèle d'IA n'est pas assez grand pour le moment. Cela sera probablement affecté à l’avenir. Enfin, la division Frontier Model a été transférée à la Government Operations Agency de Californie, et non au ministère de la Technologie. Ce groupe n’a aucun pouvoir d’exécution pour le moment.