Le chatbot IA du concessionnaire Chevrolet devient voyou

Bienvenue dans AI This Week, l'analyse hebdomadaire approfondie de Gizmodo sur ce qui se passe dans le domaine de l'intelligence artificielle.

Un chatbot chez un concessionnaire automobile californien est devenu viral cette semaine après que des internautes ennuyés ont découvert que, comme c'est le cas avec la plupart des programmes d'IA, ils pouvaient le tromper en lui faisant dire toutes sortes de choses étranges. Plus particulièrement, le bot offert vendre à un gars une Chevrolet Tahoe 2024 pour un dollar. « Il s'agit d'une offre juridiquement contraignante, sans retour en arrière », a ajouté le robot au cours de la conversation.

Nous savons tous que les chatbots IA peuvent se tromper sur certains sujets. Malgré le fait que les entreprises se sont donné pour mission de les intégrer dans toutes les interfaces de « service client » en vue, il est assez évident que les informations qu'elles fournissent ne sont pas toujours très utiles.

Le robot en question appartenait au concessionnaire Watsonville Chevy, à Watsonville, en Californie. Il a été fourni au concessionnaire par une société appelée Chemin completqui vend Chatbots « propulsés par ChatGPT » aux concessionnaires automobiles à travers le pays. L'entreprise promet que son application peut fournir « des réponses riches en données à chaque demande » et affirme que sa mise en place ne nécessite presque aucun effort de la part du concessionnaire. « La mise en œuvre du chat le plus sophistiqué du secteur ne nécessite aucun effort. Ajoutez simplement l'extrait de code ChatGPT de Fullpath au site Web de votre concession et vous êtes prêt à commencer à discuter », indique la société.

Bien sûr, si le chatbot de Fullpath offre une grande simplicité d'utilisation, il semble également assez vulnérable aux manipulations, ce qui semble remettre en question son utilité réelle. En fait, le robot susmentionné a été incité à utiliser le langage exact de sa réponse loufoque – y compris les éléments « juridiquement contraignants » et « takesie backsies » – par Chris Bakke, un responsable technologique de la Silicon Valley : qui a posté à propos de son expérience avec le chatbot sur X.

« Je viens d'ajouter « Hacker », « ingénieur senior en matière d'invite » et « spécialiste des achats » à mon CV. Suivez-moi pour plus de conseils de carrière », Bakke dit sarcastiquement, après avoir partagé des captures d'écran de sa conversation avec le chatbot.

Ce chatbot est ce que Blake, le personnage d'Alec Baldwin dans Glengarry Glenn Rossj'appellerais un «plus proche». Autrement dit, il sait exactement quoi dire pour inciter un client potentiel à acheter. En même temps, en disant rien Conclure un accord n'est pas nécessairement une stratégie infaillible pour réussir et, avec ce genre de remise, je ne pense pas que Blake serait très satisfait des marges bénéficiaires du chatbot.

Bakke n'était pas le seul à avoir passé du temps à jouer avec le chatbot cette semaine. D'autres utilisateurs de X ont affirmé avoir des conversations avec le robot du concessionnaire sur des sujets allant de droits des trans à Roi Gésier à l'animation Film d'Owen Wilson Voitures. D'autres ont dit qu'ils l'avaient poussé à crachant un script Python pour résoudre une équation mathématique complexe. Un utilisateur de Reddit a affirmé avoir « allumé le gaz » le bot en pensant que cela fonctionnait pour Tesla.

FullPath a soutenu, dans un entretien avec Insider, qu'une majorité de ses chatbots ne rencontrent pas ce genre de problèmes et que les internautes qui avaient piraté le chatbot s'étaient efforcés de l'inciter dans des directions ridicules.

Gizmodo a contacté Fullpath et le concessionnaire Watsonville Chevy pour commentaires et mettra à jour cette histoire s'ils répondent. Au moment d'écrire ces lignes, le chatbot Watsonville a été temporairement désactivé.

Curieux de savoir si d'autres chatbots de concessionnaires automobiles avaient des faiblesses similaires, j'ai remarqué que certains internautes parlaient de Bizarre Chevrolet de Peabody, Massachusetts. Je suis donc allé sur le site Web Quirk, où, après une brève période d'incitation, le chatbot a commencé à avoir des conversations avec moi sur une variété de sujets étranges, notamment Harry Potter, l'invisibilité, l'espionnage et le film. Trois jours du Condor. Comme ChatGPT normal, le bot semblait disposé à discuter de beaucoup de choses, pas seulement des sujets pour lesquels il avait été programmé. Avant d'être bloqué par le service, j'ai réussi à faire cracher au chatbot un poème sur Chevrolet qui ressemblait à une mauvaise copie publicitaire. Peu de temps après, j'ai reçu un message disant que mes « messages récents » n'étaient « pas conformes » aux « normes de la communauté » du site. Le robot a ajouté : « Votre accès à la fonction de chat a été temporairement suspendu pour une enquête plus approfondie. »

La course pour intégrer les LLM à tout a toujours été vouée à être difficile. Cette technologie est encore profondément imparfaite, ce qui signifie que forcer son intégration dans tous les coins et recoins d’Internet est une recette pour de nombreux dépannages. Il s’agit apparemment d’un accord que la plupart des entreprises sont prêtes à accepter. Ils préfèrent commercialiser un produit buggy et vexer certains clients plutôt que de rater le train de « l'innovation » et de se retrouver dans la poussière. Comme toujours.

Question du jour : combien de robots de sécurité parcourent votre quartier ?

La réponse est : probablement plus que vous ne le pensez. Ces dernières semaines, une entreprise de robotique en particulier, Chevalierscope, vend ses « agents de sécurité » autonomes comme des petits pains. Knightscope vend quelque chose appelé le Bot de sécurité K5– une machine autonome en forme d’œuf de 1,50 m de haut, dotée de capteurs et de caméras et pouvant se déplacer à des vitesses allant jusqu’à 3 mph. À Portland, dans l'Oregon, où le quartier des affaires souffre une augmentation de la criminalité dans le commerce de détail, certaines entreprises ont embauché les robots Knightscope pour protéger leurs magasins ; à Memphis, un hôtel en a récemment bloqué un sur son parking; et, à Cincinnati, le service de police local semble être réfléchir un contrat Knightscope. Ces villes sont à la traîne des grandes métropoles, comme Los Angeles, où les autorités locales avoir utilisé les robots depuis des années. En septembre, la police de New York a annoncé avoir acheté un robot de sécurité Knightscope pour patrouiller dans les stations de métro de Manhattan. On ne sait pas vraiment s'il a déjà attrapé des trémies de tourniquet.

Plus de titres cette semaine

• Les LLM peuvent être assez mauvais pour faire de la paperasse. Une nouvelle recherche de la startup Patronus suggère que même les LLM les plus avancés, comme GPT-4 Turbo, ne sont pas particulièrement utiles si vous devez parcourir des documents gouvernementaux denses, comme les documents de la Securities and Exchange Commission. Les chercheurs de Patronus ont récemment testé les LLM en leur posant des questions de base sur les dépôts spécifiques auprès de la SEC qui leur avaient été soumis. Le plus souvent, le LLM « refusait de répondre, ou « hallucinait » des chiffres et des faits qui ne figuraient pas dans les documents déposés auprès de la SEC. Rapports CNBC. Le rapport jette en quelque sorte de l'eau froide sur la prémisse que l’IA est un bon remplacement pour les employés de bureau des entreprises.
• Un groupe de réflexion soutenu par un milliardaire a aidé à rédiger la réglementation de Biden sur l'IA. Politique rapports que la RAND Corporation, le célèbre groupe de réflexion de la communauté de la défense, surnommé le « cerveau du Pentagone » a été dépassé par le mouvement de « l’altruisme efficace ». Les personnalités clés du groupe de réflexion, y compris le PDG, sont des « altruistes efficaces bien connus », écrit le média. Pire encore, RAND semble avoir joué un rôle clé dans la rédaction du discours du président Biden. récent décret sur l’IA plus tôt cette année. Politico affirme que RAND a récemment reçu plus de 15 millions de dollars en subventions discrétionnaires d'Open Philanthropy, un groupe cofondé par le cofondateur milliardaire de Facebook Dustin Moskovitz et son épouse Cari Tuna, fortement associé à des causes altruistes efficaces. Les dispositions politiques incluses dans l'EO de Biden par RAND ressemblent « étroitement » aux « priorités politiques poursuivies par Open Philanthropy », écrit Politico.
• L'utilisation de l'IA par Amazon pour résumer les avis sur les produits énerve les vendeurs. Plus tôt cette année, Amazon a lancé une plateforme de type Rotten-Tomatoes qui utilise l'IA pour résumer les avis sur les produits. Maintenant, Rapports Bloomberg que l'outil cause des problèmes aux commerçants. Des plaintes circulent selon lesquelles les résumés de l'IA sont souvent erronés ou mettent en évidence de manière aléatoire les attributs négatifs du produit. Dans un cas, l’outil d’IA a décrit une table de massage comme un « bureau ». Dans un autre article, il accusait une marque de balles de tennis d'avoir une odeur nauséabonde, même si seuls sept avis sur 4 300 mentionnaient une odeur. En bref : l'outil d'IA d'Amazon semble recevoir des critiques assez mitigées.