Meta ra mắt SAM 3.1: Tăng tốc 7 lần cho theo dõi mục tiêu 128, Phân đoạn video thời gian thực

Theo dõi của 1M AI News, Phòng thí nghiệm Siêu trí tuệ của Meta đã phát hành Mô hình Phân đoạn Bất kỳ 3.1 (SAM 3.1), đây là một bản nâng cấp trực tiếp từ mô hình nền tảng phân đoạn hình ảnh SAM 3 được phát hành vào tháng 11 năm ngoái. Cải tiến cốt lõi là Object Multiplex, một phương pháp theo dõi nhiều mục tiêu chung sử dụng bộ nhớ chia sẻ. Trước đây, SAM 3 yêu cầu xử lý độc lập cho mỗi mục tiêu, dẫn đến việc tăng chi phí suy diễn theo tuyến tính với số lượng mục tiêu. SAM 3.1 cho phép xử lý đồng thời lên đến 16 mục tiêu trong một lần truyền tiến, đạt được tăng tốc suy diễn khoảng 7 lần khi theo dõi 128 mục tiêu trên một GPU H100 duy nhất, mà không hy sinh độ chính xác, bằng cách chia sẻ thông tin ngữ cảnh toàn cầu. Thêm vào đó, SAM 3.1 đã cho thấy những cải thiện về hiệu suất trên 6 trong số 7 bảng kiểm tra phân đoạn đối tượng video (VOS). SAM 3.1 là một bản nâng cấp cắm và chạy, và trọng số mô hình có sẵn để tải xuống trên Hugging Face.