Покриття поверхні, агентний штучний інтелект для посилення відстеження… Вбудована підтримка Google Vertex AI

Додаток для спостереження за роботою стартапу Groundcover значно розширив функціональність «AI-спостереження». Це оновлення посилило можливості відстеження агентних систем штучного інтелекту та додало нативну підтримку, повністю сумісну з хмарною платформою AI Google Vertex AI.

Це розширення зосереджене на заповненні «прогалини у видимості», яка виникає при швидкому впровадженні великих мовних моделей (LLM) у реальні сервісні середовища. Існуючі інструменти спостереження здебільшого розроблені для традиційного програмного забезпечення, яке працює за заздалегідь визначеними правилами, і мають очевидні обмеження при роботі з системами AI, що змінюються в режимі реального часу, з підказками та відповідями. Тому командам розробників і операційним командам важко зрозуміти, які вхідні дані спричинили які результати, чому відповіді змінюються, а також де виникають витрати і в якій кількості.

Щоб вирішити ці проблеми, Groundcover посилив функціональність, щоб захоплювати повний контекст взаємодії з LLM і відстежувати процес формування результатів у все більш складних багатоступеневих системах AI. Компанія особливо підкреслює свою ключову перевагу — можливість швидко застосовувати спостереження без додаткового тестування у робочому середовищі.

Віце-президент продукту Groundcover Ор Бенджамін зазначив: «Клієнти постійно скаржилися, що виклики LLM виходять за межі видимості команд, що займаються спостереженням. Вони хочуть систематичного підходу до розуміння підказок, відповідей і витрат. Щоб задовольнити потреби у масштабному та критично важливому моніторингу бізнесу з AI, ми розробили AI-спостереження», — пояснив він.

Видимість відстеження агентів

Найбільш помітною зміною в цьому оновленні є «Видимість відстеження агентів». За допомогою цієї функції можна не лише переглядати кожен виклик моделі, а й одночасно бачити процес виконання інструментів, параметри, результати та логіку, що стоїть за ними. Для компаній, які керують агентними робочими процесами з кількома етапами, це значно полегшить пошук причин проблем і підвищення продуктивності.

Посилені можливості управління витратами

Функціональність управління витратами також була покращена. Додана точна функція визначення витрат, яка враховує кешування підказок і дозволяє відстежувати вартість токенів на рівні окремих виконавчих одиниць. Вона розрізняє звичайні токени, токени створення кешу та токени читання кешу, що дозволяє точніше відобразити складну структуру оплати API LLM. Це дає команді можливість краще розуміти фактичні витрати конкретних агентів або сесій.

Підтримка Google Vertex AI

Крім того, додано підтримку Google Vertex AI. Тепер компанії, що створюють AI-сервіси на платформі Google Cloud, можуть автоматично збирати відповідні дані для спостереження без додаткового тестування. У компанії запевняють, що всі дані спостереження зберігаються у середовищі клієнта, забезпечуючи безпеку та контроль над даними.

Функціональність AI-спостереження Groundcover наразі автоматично розгортається у всіх клієнтів у загальному режимі. Компанія повідомила, що продемонструвала ці нові можливості під час заходу «Google Cloud Next» з 22 по 24 квітня.

На тлі швидкого переходу AI-сервісів із експериментальної стадії до реального функціонування, «AI-спостереження» виходить за межі простого моніторингу і стає ключовою областю управління якістю, витратами та надійністю. Це оновлення вважається кроком до створення необхідної бази для більш стабільної роботи агентних систем AI.

Застереження AI TP Цей текст є зведенням на основі мовної моделі TokenPost.ai. Основний зміст може бути опущений або відрізнятися від реальності.