Les LLM intégrés à la base de données d'Oracle HeatWave pour aider à réduire les coûts d'infrastructure

Oracle ajoute de nouvelles fonctionnalités génératives axées sur l'IA à son service cloud d'analyse de données Heatwave, anciennement connu sous le nom de MySQL HeatWave.

Le nouveau nom souligne comment HeatWave offre plus que simplement le support MySQL, et inclut également HeatWave Gen AI, HeatWave Lakehouse et HeatWave AutoML, a déclaré Nipun Agarwal, vice-président senior de HeatWave chez Oracle.

Lors de sa conférence annuelle CloudWorld en septembre 2023, Oracle a présenté en avant-première une série de mises à jour génératives axées sur l'IA pour ce qui était alors MySQL HeatWave.

Ces mises à jour comprenaient une interface pilotée par un grand modèle de langage (LLM), permettant aux utilisateurs d'entreprise d'interagir avec différents aspects du service en langage naturel, un nouveau Vector Store, Heatwave Chat et la prise en charge AutoML pour HeatWave Lakehouse.

Certaines de ces mises à jour, ainsi que des fonctionnalités supplémentaires, ont été combinées pour former l'offre HeatWave Gen AI au sein de HeatWave, a déclaré Oracle, ajoutant que toutes ces capacités et fonctionnalités sont désormais généralement disponibles sans frais supplémentaires.

Prise en charge LLM dans la base de données pour réduire les coûts

Selon les analystes, Oracle a ajouté la prise en charge des LLM au sein d'une base de données, une première parmi les fournisseurs de bases de données.

La prise en charge LLM en base de données de HeatWave Gen AI, qui exploite des LLM plus petits avec moins de paramètres tels que Mistral-7B et Llama 3-8B de Meta exécutés dans la base de données, devrait réduire les coûts d'infrastructure pour les entreprises, ont-ils ajouté.

« Cette approche réduit non seulement la consommation de mémoire, mais permet également d'utiliser des processeurs au lieu de GPU, ce qui la rend rentable, ce qui, compte tenu du coût des GPU, deviendra une tendance au moins à court terme jusqu'à ce qu'AMD et Intel rattrapent Nvidia », « , a déclaré Ron Westfall, directeur de recherche au Futurum Group.

Une autre raison d'utiliser des LLM plus petits dans la base de données est la possibilité d'avoir plus d'influence sur le modèle grâce à des réglages précis, a déclaré David Menninger, directeur exécutif de Ventana Research d'ISG.

« Avec un modèle plus petit, le contexte fourni via les techniques de génération augmentée de récupération (RAG) a une plus grande influence sur les résultats », a expliqué Menninger.

Westfall a également donné l'exemple des modèles Granite d'IBM, affirmant que l'approche consistant à utiliser des modèles plus petits, en particulier pour les cas d'utilisation en entreprise, était en train de devenir une tendance.

Selon Oracle, les LLM intégrés à la base de données permettront aux entreprises de rechercher des données, de générer ou de résumer du contenu et d'effectuer du RAG avec le Vector Store de HeatWave.

Par ailleurs, HeatWave Gen AI est également intégré au service OCI Generative de la société, offrant aux entreprises un accès à des modèles pré-entraînés et à d'autres modèles fondamentaux proposés par des fournisseurs LLM.

Magasin de vecteurs renommé et traitement vectoriel évolutif

Un certain nombre de fournisseurs de bases de données qui n'offraient pas encore de bases de données vectorielles spécialisées ont ajouté des fonctionnalités vectorielles à leurs produits au cours des 12 derniers mois (MongoDB, DataStax, Pinecone et CosmosDB pour NoSQL parmi eux), permettant aux clients de créer des applications d'IA et d'IA génératives. cas d'utilisation sur les données stockées dans ces bases de données sans déplacer les données vers un magasin de vecteurs ou une base de données distinct.

Le Vector Store d'Oracle, déjà présenté en septembre, crée automatiquement des intégrations après l'ingestion de données afin de traiter les requêtes plus rapidement.

Une autre fonctionnalité ajoutée à HeatWave Gen AI est le traitement vectoriel évolutif qui permettra à HeatWave de prendre en charge VECTOR en tant que type de données et, à son tour, aidera les entreprises à traiter les requêtes plus rapidement.

« En termes simples, cela revient à ajouter RAG à une base de données relationnelle standard », a déclaré Menninger. « Vous stockez du texte dans un tableau avec une intégration de ce texte en tant que type de données VECTOR. Ensuite, lorsque vous effectuez une requête, le texte de votre requête est converti en intégration. L'intégration est comparée à celles du tableau et celles avec la distance la plus courte sont les plus similaires.

Une interface graphique via HeatWave Chat

Une autre nouvelle fonctionnalité ajoutée à HeatWave Gen AI est HeatWave Chat, un plug-in Visual Code pour MySQL Shell qui fournit une interface graphique pour HeatWave GenAI et permet aux développeurs de poser des questions en langage naturel ou en SQL.

La conservation de l'historique des discussions permet aux développeurs d'affiner plus facilement les résultats de recherche de manière itérative, a déclaré Menninger.

HeatWave Chat est livré avec une autre fonctionnalité baptisée Lakehouse Navigator, qui permet aux utilisateurs d'entreprise de sélectionner des fichiers dans le stockage d'objets pour créer un nouveau magasin de vecteurs.

Cette intégration est conçue pour améliorer l'expérience utilisateur et l'efficacité des développeurs et des analystes qui créent un magasin vectoriel, a déclaré Westfall.