Snowflake open sources SwiftKV pour réduire les coûts de charge de travail d'inférence

« Cette idée n’est pas nouvelle et Snowflake n’est certainement pas le premier à illustrer sa valeur, bien entendu. SAP, par exemple, a introduit cette idée avec son plug-in de modèle, Finch, plus tôt en 2024 », a déclaré Bradley Shimmin, analyste en chef chez Omdia.

Cependant, malgré les affirmations de Snowflake selon lesquelles la perte de précision des LLM optimisés pour SwiftKV est minime, Shimmin a averti qu'il pourrait y avoir des compromis en termes de complexité à mettre en œuvre, de dégradation des capacités et de compatibilité avec l'architecture d'inférence sous-jacente.

« Les méthodes telles que la quantification sont très populaires car elles n’imposent pas beaucoup de compromis. Ainsi, si les clients trouvent que cette technique de Snowflake a une valeur similaire, j'imagine qu'ils l'utiliseront peut-être même avec d'autres techniques, selon les besoins de leur projet, quel qu'il soit », a expliqué Shimmin.