Couverture du sol, suivi amélioré par une IA de type agent… support natif de Google Vertex AI

L’entreprise innovante en observabilité des applications, Groundcover, a considérablement étendu ses fonctionnalités d’« observabilité de l’IA ». Cette mise à jour renforce la capacité de suivi des systèmes d’IA basés sur des agents et introduit une prise en charge native entièrement compatible avec la plateforme d’IA hébergée sur Google Cloud, « Google Vertex AI ».

L’objectif principal de cette extension est de combler le « vide de visibilité » créé lors de l’intégration rapide des grands modèles de langage (LLM) dans des environnements de service réels. La plupart des outils d’observabilité existants sont conçus pour des logiciels traditionnels fonctionnant selon des règles fixes, ce qui limite leur efficacité face à des systèmes d’IA dont les invites et réponses évoluent en temps réel. Par conséquent, les équipes de développement et d’exploitation ont du mal à comprendre quels entrées ont conduit à quels résultats, pourquoi les réponses changent, et où et combien les coûts sont générés.

Pour résoudre ces problèmes, Groundcover a renforcé ses fonctionnalités afin de capturer le contexte complet des interactions avec les LLM et de suivre le processus de génération des résultats dans des systèmes d’IA multi-étapes de plus en plus complexes. La société insiste particulièrement sur le fait que ses capacités d’observabilité peuvent être déployées rapidement sans nécessiter de détection supplémentaire dans l’environnement d’exécution.

Or Benjamin, vice-président produit chez Groundcover, déclare : « Nos clients ont toujours signalé que les appels LLM échappaient à la visibilité des équipes d’observabilité opérationnelle. Ils souhaitent une méthode systématique pour comprendre les invites, les réponses et les coûts. Pour répondre à ces besoins d’observabilité à grande échelle et pour des opérations critiques en IA, nous avons développé l’observabilité de l’IA. » explique-t-il.

Visibilité du suivi des agents

La modification la plus notable de cette mise à jour est la « visibilité du suivi des agents ». Grâce à cette fonctionnalité, il est possible non seulement de voir chaque appel de modèle, mais aussi de suivre simultanément le processus d’exécution des outils, leurs paramètres, leurs résultats, ainsi que le chemin de raisonnement durant l’exécution. Pour les entreprises gérant des flux de travail d’agents IA impliquant plusieurs étapes, cela facilite grandement le diagnostic des problèmes et l’amélioration des performances.

Renforcement de la gestion des coûts

Les fonctionnalités de gestion des coûts ont également été améliorées. La nouvelle fonction d’attribution précise des coûts, qui prend en compte le cache des invites, vise à suivre les coûts des jetons à partir de l’unité d’exécution détaillée. Elle distingue les jetons d’entrée standard, ceux créés lors de la mise en cache et ceux lus depuis le cache, reflétant ainsi plus fidèlement la structure de facturation complexe de la récente API LLM. Cela permet aux équipes de mieux comprendre les coûts réels générés par l’exécution d’un agent ou d’une session spécifique.

Support de Google Vertex AI

De plus, la prise en charge de Google Vertex AI a été ajoutée. Désormais, les entreprises construisant des services IA sur Google Cloud peuvent collecter automatiquement les données d’observabilité pertinentes sans détection supplémentaire. La société indique que sa conception garantit que toutes les données d’observabilité restent dans l’environnement du client, assurant ainsi la sécurité et la maîtrise des données.

Les fonctionnalités d’observabilité IA de Groundcover sont actuellement déployées de manière universelle et automatique auprès de tous les clients. La société a présenté ces nouvelles fonctionnalités lors de l’événement « Google Cloud Next » qui s’est tenu du 22 au 24 avril.

Alors que les services d’IA passent rapidement de la phase expérimentale à l’environnement opérationnel réel, « l’observabilité de l’IA » dépasse le simple monitoring pour devenir un domaine central de gestion de la qualité, des coûts et de la fiabilité. Cette extension de fonctionnalités est considérée comme une étape essentielle pour permettre aux entreprises d’opérer des agents IA de manière plus stable et fiable.

Remarques sur l’IA TP Ce résumé est basé sur le modèle linguistique TokenPost.ai. Le contenu principal peut être omis ou différent de la réalité.