L'IA Vertex de Google Cloud bénéficie de nouvelles options de mise à la terre

Google Cloud introduit un nouvel ensemble d'options de mise à la terre qui permettront aux entreprises de réduire davantage les hallucinations dans leurs applications et agents basés sur l'IA générative.

Les grands modèles de langage (LLM) qui sous-tendent ces applications et agents génératifs basés sur l'IA peuvent commencer à produire des résultats ou des réponses erronés à mesure qu'ils gagnent en complexité. Ces résultats erronés sont qualifiés d'hallucinations car ils ne sont pas fondés sur les données d'entrée.

La génération augmentée de récupération (RAG) est l'une des nombreuses techniques utilisées pour traiter les hallucinations : les autres sont le réglage fin et l'ingénierie rapide. RAG ancre le LLM en alimentant les faits du modèle à partir d'une source de connaissances ou d'un référentiel externe pour améliorer la réponse à une requête particulière.

Le nouvel ensemble d'options de mise à la terre introduit dans le service d'IA et d'apprentissage automatique de Google Cloud, Vertex AI, comprend la récupération dynamique, un mode « haute fidélité » et la mise à la terre avec des ensembles de données tiers, qui peuvent tous être considérés comme des extensions de Vertex AI. fonctionnalités dévoilées lors de sa conférence annuelle Cloud Next en avril.

Récupération dynamique pour équilibrer le coût et la précision

La nouvelle capacité de récupération dynamique, qui sera bientôt proposée dans le cadre de la fonctionnalité de Vertex AI pour ancrer les LLM dans la recherche Google, cherche à trouver un équilibre entre la rentabilité et la qualité des réponses, selon Google.

Alors que l'ancrage des LLM dans Google Search entraîne des coûts de traitement supplémentaires pour les entreprises, la récupération dynamique permet à Gemini de choisir de manière dynamique d'ancrer les requêtes des utilisateurs finaux dans Google Search ou d'utiliser les connaissances intrinsèques des modèles, a écrit Burak Gokturk, directeur général de l'IA cloud chez Google Cloud, dans un article de blog.

Le choix est laissé aux Gémeaux, car toutes les requêtes n'ont peut-être pas besoin d'être fondées, a expliqué Gokturk, ajoutant que les connaissances en formation des Gémeaux sont très performantes.

Gemini, à son tour, prend la décision d'ancrer une requête dans la recherche Google en séparant toute invite ou requête en trois catégories en fonction de la façon dont les réponses pourraient changer au fil du temps : ne changeant jamais, changeant lentement et changeant rapidement.

Cela signifie que si une requête était posée à Gemini sur un dernier film, il chercherait à fonder la réponse dans la recherche Google, mais il ne fonderait pas une réponse à une requête telle que « Quelle est la capitale de la France ? » car il est moins probable que cette question change et Gemini connaîtrait déjà la réponse.

Mode haute fidélité destiné aux secteurs de la santé et des services financiers

Google Cloud souhaite également aider les entreprises à ancrer les LLM dans leurs données d'entreprise privées et, pour ce faire, a présenté une collection d'API sous le nom d'API pour RAG dans le cadre de Vertex AI en avril.

Les API pour RAG, qui ont été rendues généralement disponibles, incluent des API pour l'analyse de documents, la génération d'intégration, le classement sémantique et la génération de réponses fondées, ainsi qu'un service de vérification des faits appelé check-grounding.

Expérience haute fidélité

Dans le cadre d'une extension de l'API de génération de réponses ancrées, qui utilise les magasins de données Vertex AI Search, les sources de données personnalisées et la recherche Google, pour ancrer une réponse à une invite utilisateur, Google introduit une option d'immobilisation expérimentale, nommée grounding with high- mode fidélité.

La nouvelle option de mise à la terre, selon la société, vise à mieux fonder une réponse à une requête en forçant le LLM à récupérer des réponses non seulement en comprenant le contexte de la requête, mais également en recherchant la réponse à partir d'une source de données fournie sur mesure.

Cette option de mise à la terre utilise un modèle Gemini 1.5 Flash qui a été affiné pour se concentrer sur le contexte d'une invite, a expliqué Gokturk, ajoutant que l'option fournit des sources attachées aux phrases de la réponse ainsi que des scores de mise à la terre.

La mise à la terre avec le mode haute fidélité prend actuellement en charge des cas d'utilisation clés tels que la synthèse sur plusieurs documents ou l'extraction de données à partir d'un corpus de données financières.

Cette option de mise à la terre, selon Gokturk, est destinée aux entreprises des secteurs de la santé et des services financiers, car ces entreprises ne peuvent pas se permettre d'hallucinations et les sources fournies dans les réponses aux requêtes contribuent à renforcer la confiance dans l'application basée sur l'IA générative destinée à l'utilisateur final.

D'autres grands fournisseurs de services cloud, tels qu'AWS et Microsoft Azure, ne disposent pas actuellement d'une fonctionnalité exacte correspondant au mode haute fidélité, mais chacun d'entre eux dispose d'un système en place pour évaluer la fiabilité des applications RAG, y compris la cartographie des métriques de génération de réponses.

Alors que Microsoft utilise l'API Groundedness Detection pour vérifier si les réponses textuelles des grands modèles de langage (LLM) sont fondées sur les documents sources fournis par les utilisateurs, le service Amazon Bedrock d'AWS utilise plusieurs métriques pour effectuer la même tâche.

Dans le cadre des fonctionnalités d'évaluation et d'observabilité RAG de Bedrock, AWS utilise des métriques telles que la fidélité, la pertinence des réponses et la similarité sémantique des réponses pour évaluer une réponse à une requête.

La métrique de fidélité mesure si la réponse générée par le système RAG est fidèle aux informations contenues dans les passages récupérés, a déclaré AWS, ajoutant que l'objectif est d'éviter les hallucinations et de garantir que le résultat est justifié par le contexte fourni en entrée du système RAG. .

Activation des données tierces pour RAG via Vertex AI

Conformément à ses plans annoncés lors de Cloud Next en avril, la société a déclaré qu'elle prévoyait d'introduire un nouveau service au sein de Vertex AI à partir du prochain trimestre pour permettre aux entreprises de fonder leurs modèles et leurs agents d'IA sur des données tierces spécialisées.

Google a déclaré qu'il travaillait déjà avec des fournisseurs de données tels que Moody's, MSCI, Thomson Reuters et Zoominfo pour transférer leurs données vers ce service.