Penutup permukaan tanah, peningkatan pelacakan AI berbasis agen… Didukung secara native oleh Google Vertex AI

Aplikasi startup observabilitas yang berbasis aplikasi, Groundcover, secara signifikan memperluas fitur “AI Observabilitas”. Pembaruan ini memperkuat kemampuan pelacakan untuk sistem AI berbasis agen, dan menambahkan dukungan asli yang sepenuhnya kompatibel dengan platform AI Google Cloud “Google Vertex AI”.

Fokus dari perluasan ini adalah mengisi kekosongan visibilitas yang muncul saat perusahaan dengan cepat mengintegrasikan model bahasa besar (LLM) ke dalam lingkungan layanan nyata. Alat observabilitas yang ada sebagian besar dirancang untuk perangkat lunak tradisional yang berjalan sesuai aturan yang telah ditetapkan, dan memiliki keterbatasan yang jelas saat menghadapi sistem AI yang respons dan promptnya berubah secara real-time. Oleh karena itu, tim pengembang dan tim operasional platform sulit memahami input mana yang menyebabkan hasil tertentu, mengapa respons berubah, serta di mana dan berapa biaya yang dihasilkan.

Untuk mengatasi masalah ini, Groundcover meningkatkan kemampuannya agar dapat menangkap konteks lengkap dari interaksi LLM, serta melacak proses pembuatan hasil dalam sistem AI multi-tahap yang semakin kompleks. Perusahaan menekankan bahwa keunggulan utamanya adalah kemampuan untuk menerapkan observabilitas secara cepat tanpa perlu deteksi tambahan di lingkungan operasional.

Vice President produk Groundcover, Or Benjamin, mengatakan: “Klien selalu mengeluhkan bahwa panggilan LLM berada di luar jangkauan tim observabilitas operasional. Mereka menginginkan pendekatan sistematis untuk memahami prompt, respons, dan biaya. Untuk memenuhi kebutuhan observabilitas yang lebih besar dan penting di luar kebutuhan saat ini, kami mengembangkan AI Observabilitas.” jelasnya.

Pelacakan Visibilitas Agen

Perubahan paling mencolok dalam pembaruan ini adalah “Pelacakan Visibilitas Agen”. Melalui fitur ini, tidak hanya dapat melihat setiap panggilan model, tetapi juga dapat secara bersamaan melihat proses eksekusi alat, parameter, hasil eksekusi, serta jalur penalaran selama proses berlangsung. Bagi perusahaan yang menjalankan alur kerja AI berbasis agen yang melibatkan banyak langkah, troubleshooting dan peningkatan kinerja akan menjadi lebih mudah.

Penguatan Fungsi Manajemen Biaya

Fungsi manajemen biaya juga diperkuat. Fitur alokasi biaya yang akurat yang baru, mempertimbangkan cache prompt, bertujuan untuk melacak biaya token dari tingkat unit eksekusi yang detail. Fitur ini membedakan token input biasa, token pembuatan cache, dan token pembacaan cache, sehingga mencerminkan struktur penagihan API LLM yang kompleks secara lebih akurat. Dengan demikian, tim dapat memahami secara lebih jelas biaya yang sebenarnya dihasilkan oleh eksekusi agen tertentu atau sesi.

Dukungan Google Vertex AI

Selain itu, dukungan untuk Google Vertex AI juga ditambahkan. Sekarang, perusahaan yang membangun layanan AI di Google Cloud dapat secara otomatis mengumpulkan data observabilitas terkait tanpa perlu deteksi tambahan. Perusahaan menyatakan bahwa desainnya memastikan semua data observabilitas tetap berada di lingkungan pelanggan sendiri, menjaga keamanan dan kontrol data.

Fungsi observabilitas AI Groundcover saat ini sedang diterapkan secara otomatis secara umum kepada semua pelanggan. Perusahaan menyatakan bahwa mereka telah memamerkan fitur-fitur baru ini dalam acara “Google Cloud Next” yang berlangsung dari 22 hingga 24 April.

Seiring layanan AI yang cepat melewati tahap eksperimen dan memasuki lingkungan operasional nyata, “AI Observabilitas” melampaui sekadar pengawasan dan berkembang menjadi bidang inti dalam pengelolaan kualitas, biaya, dan keandalan. Perluasan fitur ini dipandang sebagai langkah perusahaan untuk memperkuat fondasi yang diperlukan agar agen AI dapat beroperasi lebih stabil.

Catatan AI TP Artikel ini didasarkan pada ringkasan model bahasa TokenPost.ai. Isi utama teks mungkin disingkat atau berbeda dari kenyataan.