Fiabilité et prévisibilité
La façon dont nous interagissons aujourd’hui avec les ordinateurs est prévisible. Par exemple, lorsque nous construisons des systèmes logiciels, un ingénieur s’assoit et écrit du code, indiquant exactement quoi faire à l’ordinateur, étape par étape. Avec un processus d’IA agentique, nous ne fournissons pas d’instructions étape par étape. Au contraire, nous dirigeons avec le résultat que nous voulons atteindre, et l'agent détermine comment atteindre cet objectif. L'agent logiciel dispose d'un certain degré d'autonomie, ce qui signifie qu'il peut y avoir un certain caractère aléatoire dans les sorties.
Nous avons constaté un problème similaire avec ChatGPT et d'autres systèmes d'IA générative basés sur LLM lors de leurs débuts. Mais au cours des deux dernières années, nous avons constaté des améliorations considérables dans la cohérence des résultats de l’IA générative, grâce à des réglages précis, des boucles de rétroaction humaine et des efforts constants pour former et affiner ces modèles. Nous devrons déployer un niveau d’effort similaire pour minimiser le caractère aléatoire des systèmes d’IA agentique afin de les rendre plus prévisibles et plus fiables.
Confidentialité et sécurité des données
Certaines entreprises hésitent à utiliser l’IA agentique en raison de problèmes de confidentialité et de sécurité, qui sont similaires à ceux de l’IA générative mais peuvent être encore plus préoccupants. Par exemple, lorsqu'un utilisateur utilise un modèle de langage volumineux, chaque bit d'information fourni au modèle est intégré dans ce modèle. Il n'y a aucun moyen de revenir en arrière et de lui demander « d'oublier » cette information. Certains types d'attaques de sécurité, comme l'injection rapide, en profitent en essayant d'amener le modèle à divulguer des informations propriétaires. Étant donné que les agents logiciels ont accès à de nombreux systèmes différents avec un haut niveau d’autonomie, il existe un risque accru qu’ils exposent des données privées provenant d’un plus grand nombre de sources.


:max_bytes(150000):strip_icc():focal(666x475:668x477)/earthquake-xigaze-region-china-010725-3-2bb82a82f68044c0bf433bdfed479927.jpg)
GIPHY App Key not set. Please check settings