Votre projet genAI va échouer

Votre projet genAI va presque certainement échouer. Mais rassurez-vous : de toute façon, vous n’auriez probablement pas dû utiliser l’IA pour résoudre votre problème commercial. Cela semble être un fait reconnu parmi les spécialistes de la science des données, mais cette sagesse a mis du temps à parvenir aux dirigeants d’entreprise. Par exemple, le data scientist Noah Lorang a suggéré un jour : « Il existe un très petit sous-ensemble de problèmes commerciaux qui sont mieux résolus par l’apprentissage automatique ; la plupart d'entre eux ont juste besoin de bonnes données et d'une compréhension de ce que cela signifie », pourtant 87 % des personnes interrogées par Bain & Company ont déclaré développer des applications genAI.

Pour certains, c’est exactement la bonne approche. Pour beaucoup d’autres, ce n’est pas le cas.

Nous avons collectivement pris tellement d'avance avec genAI que nous nous préparons à l'échec. Cet échec provient de diverses sources, notamment des problèmes de gouvernance ou de qualité des données, mais le principal problème à l'heure actuelle est celui des attentes. Les gens passent un après-midi à utiliser ChatGPT et s'attendent à ce qu'il soit capable de résoudre leurs problèmes de chaîne d'approvisionnement ou leurs questions de support client. Ce ne sera pas le cas. Mais l'IA n'est pas le problème, c'est nous.

« Les attentes sont fixées uniquement en fonction des vibrations »

Shreya Shankar, ingénieure en apprentissage automatique chez Viaduct, estime que l’un des avantages et des inconvénients de genAI est qu’elle élimine apparemment le besoin de préparation des données, qui a longtemps été l’un des aspects les plus difficiles de l’apprentissage automatique. « Comme vous avez consacré si peu d’efforts à la préparation des données, il est très facile d’être agréablement surpris par les résultats initiaux », explique-t-elle, ce qui « propulse ensuite l’étape suivante de l’expérimentation, également connue sous le nom d’ingénierie rapide ».

Plutôt que de faire le travail difficile et sale de préparation des données, avec tous les tests et la reconversion nécessaires pour obtenir un modèle qui donne des résultats même vaguement utiles, les gens sautent directement au dessert, pour ainsi dire. Cela conduit à son tour à des attentes irréalistes : « L’IA générative et les LLM sont un peu plus intéressants dans ce sens. la plupart les gens ne bénéficient d'aucune forme d'évaluation systématique avant leur expédition (pourquoi y seraient-ils obligés s'ils n'avaient pas collecté un ensemble de données de formation ?), donc leurs attentes sont définies uniquement en fonction des vibrations », explique Shankar.

Il s’avère que les vibrations ne constituent pas un bon ensemble de données pour des applications d’IA réussies.

La véritable clé du succès de l’apprentissage automatique est quelque chose qui manque en grande partie à genAI : le réglage constant du modèle. « Dans l’ingénierie du ML et de l’IA », écrit Shankar, «les équipes attendent souvent trop de précision Les développeurs ne parviennent pas à s'adapter à leurs attentes concernant une application d'IA dès son lancement, et ne construisent souvent pas l'infrastructure nécessaire pour inspecter continuellement les données, incorporer de nouveaux tests et améliorer le système de bout en bout. En d'autres termes, c'est tout le travail effectué avant et après l'invite qui assure le succès. Pour les applications genAI, en partie à cause de la rapidité de leur mise en route, une grande partie de cette discipline est perdue.

Les choses se compliquent également avec genAI, car il n’y a pas de cohérence entre l’invite et la réponse. J’aime la façon dont Amol Ajgaonkar, directeur technique de l’innovation produit chez Insight, le présente. Parfois, nous pensons que nos invites à ChatGPT ou à un système similaire sont comme une conversation adulte avec un adulte. Ce n’est pas le cas, dit-il, mais plutôt : « C’est comme donner des instructions à mes enfants adolescents. Parfois, il faut se répéter pour que ça reste. » Pour compliquer encore les choses, « parfois, l’IA écoute, et d’autres fois, elle ne suit pas les instructions. C’est presque comme une langue différente. » Apprendre à converser avec les systèmes genAI est à la fois un art et une science et nécessite une expérience considérable pour bien le faire. Malheureusement, beaucoup prennent trop confiance en leurs expériences occasionnelles avec ChatGPT et fixent des attentes bien plus élevées que ce que les outils peuvent offrir, ce qui conduit à des échecs décevants.

Posez le nouveau jouet brillant

Beaucoup se lancent dans la genAI sans d’abord se demander s’il existe des moyens plus simples et plus efficaces d’atteindre leurs objectifs. Santiago Valdarrama, fondateur de Tideily, recommande que la plupart commencent par l'apprentissage automatique (ou genAI), mais la première étape consiste généralement en de simples heuristiques, ou règles. Il offre deux avantages à cette approche : « Premièrement, vous en apprendrez beaucoup plus sur le problème que vous devez résoudre. Deuxièmement, vous disposerez d’une base de référence à comparer à toute future solution d’apprentissage automatique.

Comme dans le développement de logiciels, où le plus dur n’est pas de coder mais plutôt de déterminer quel code écrire, le plus difficile en IA est de déterminer comment ou si l’on doit appliquer l’IA. Lorsque des règles simples doivent céder le pas à des règles plus complexes, Valdarrama suggère de passer à un modèle simple. Notez l’accent mis en permanence sur la « simplicité ». Comme il le dit, « la simplicité l’emporte toujours » et devrait dicter les décisions jusqu’à ce que des modèles plus complexes soient absolument nécessaires.

Alors, revenons à genAI. Oui, c'est pourrait être ce dont votre entreprise a besoin pour offrir de la valeur client dans un scénario donné. Peut-être. Il est plus probable qu'une analyse solide et des approches basées sur des règles donneront les résultats souhaités. Pour ceux qui sont déterminés à utiliser la nouvelle chose brillante, eh bien, même dans ce cas, il est toujours préférable de commencer petit et simple et d'apprendre à utiliser genAI avec succès.