Che phủ mặt đất, theo dõi AI dạng đại lý nâng cao… Hỗ trợ gốc của Google Vertex AI

Ứng dụng quan sát hệ thống của công ty khởi nghiệp Groundcover đã mở rộng đáng kể chức năng “Quan sát hệ thống AI”. Cập nhật này tăng cường khả năng theo dõi các hệ thống AI dạng đại lý, đồng thời bổ sung hỗ trợ nguyên bản hoàn toàn tương thích với nền tảng AI do Google Cloud quản lý “Google Vertex AI”.

Mở rộng này tập trung vào việc lấp đầy “khoảng trống khả năng nhìn thấy” phát sinh khi doanh nghiệp nhanh chóng tích hợp mô hình ngôn ngữ lớn (LLM) vào môi trường dịch vụ thực tế. Các công cụ quan sát hiện tại phần lớn được thiết kế dựa trên phần mềm truyền thống hoạt động theo quy tắc cố định, gặp hạn chế rõ rệt khi đối mặt với các hệ thống AI phản hồi theo thời gian thực với các lệnh và phản hồi thay đổi liên tục. Do đó, các nhóm phát triển và vận hành nền tảng gặp khó khăn trong việc hiểu rõ các đầu vào dẫn đến kết quả nào, lý do phản hồi thay đổi ra sao, cũng như chi phí phát sinh ở đâu và số tiền là bao nhiêu.

Để giải quyết các vấn đề này, Groundcover đã nâng cao khả năng, cho phép thu thập toàn bộ ngữ cảnh tương tác của LLM và theo dõi quá trình tạo ra kết quả trong các hệ thống AI phức tạp nhiều giai đoạn ngày càng tinh vi. Công ty đặc biệt nhấn mạnh lợi thế cốt lõi của mình là khả năng ứng dụng quan sát hệ thống nhanh chóng mà không cần thực hiện các kiểm tra bổ sung trong môi trường vận hành.

Phó chủ tịch sản phẩm của Groundcover, Or Benjamin, cho biết: “Khách hàng luôn phản ánh rằng các cuộc gọi LLM nằm ngoài tầm nhìn của nhóm quan sát vận hành. Họ muốn có một phương pháp hệ thống để hiểu rõ các lệnh, phản hồi và chi phí. Để đáp ứng nhu cầu giám sát AI quy mô lớn, quan trọng và vượt ra ngoài các yêu cầu quan sát hiện tại, chúng tôi đã phát triển khả năng quan sát hệ thống AI.” Ông giải thích.

Khả năng theo dõi hệ thống đại lý

Thay đổi nổi bật nhất trong cập nhật này là “Khả năng theo dõi hệ thống đại lý”. Với chức năng này, không chỉ có thể xem các lần gọi mô hình, mà còn có thể đồng thời xem quá trình thực thi công cụ, các tham số, kết quả thực thi và đường dẫn suy luận trong quá trình đó. Đối với các doanh nghiệp vận hành các luồng công việc của AI dạng đại lý gồm nhiều bước, việc xác định nguyên nhân vấn đề và nâng cao hiệu suất sẽ trở nên dễ dàng hơn.

Nâng cao chức năng quản lý chi phí

Chức năng quản lý chi phí cũng được cải thiện. Chức năng phân bổ chi phí chính xác mới, dựa trên việc xem xét bộ đệm lệnh, nhằm theo dõi chi phí token từ cấp độ các đơn vị thực thi chi tiết. Chức năng này phân biệt các token đầu vào thông thường, token tạo bộ đệm và token đọc bộ đệm, từ đó phản ánh chính xác hơn cấu trúc tính phí phức tạp của API LLM mới nhất. Nhờ đó, nhóm có thể hiểu rõ hơn về chi phí thực tế phát sinh từ các hoạt động của đại lý hoặc các phiên làm việc cụ thể.

Hỗ trợ Google Vertex AI

Ngoài ra, còn có sự bổ sung hỗ trợ cho Google Vertex AI. Hiện tại, các doanh nghiệp xây dựng dịch vụ AI trên nền tảng Google Cloud có thể tự động thu thập dữ liệu quan sát hệ thống liên quan mà không cần kiểm tra bổ sung. Phía công ty cho biết, thiết kế của họ đảm bảo tất cả dữ liệu quan sát hệ thống được giữ trong môi trường của khách hàng, cân nhắc đến yếu tố an toàn và kiểm soát dữ liệu.

Chức năng quan sát hệ thống AI của Groundcover hiện đang được triển khai tự động theo cách chung cho tất cả khách hàng. Công ty cho biết đã trình diễn các chức năng mới này tại sự kiện “Google Cloud Next” diễn ra từ ngày 22 đến 24 tháng 4.

Trong bối cảnh dịch vụ AI nhanh chóng vượt qua giai đoạn thử nghiệm và bước vào môi trường vận hành thực tế, “Quan sát hệ thống AI” đang vượt ra ngoài phạm vi giám sát đơn thuần, trở thành lĩnh vực trung tâm trong quản lý chất lượng, chi phí và độ tin cậy. Việc mở rộng chức năng này được xem là một bước nhằm giúp doanh nghiệp vận hành các hệ thống AI dạng đại lý ổn định hơn, mở rộng các nền tảng cần thiết.

Lưu ý AI TP Bài viết dựa trên mô hình ngôn ngữ TokenPost.ai. Nội dung chính có thể bị bỏ qua hoặc khác với thực tế.