Chắc hẳn có nhiều người đau đầu vì chi phí suy luận LLM, dạo này phương pháp được chú ý là speculative sampling.

Nguyên lý như sau - mô hình nhỏ sẽ dự đoán kết quả trước, sau đó mô hình lớn (mục tiêu) sẽ kiểm tra đồng thời bằng xử lý song song trên GPU. Nhờ vậy, số lần gọi mô hình mục tiêu có thể giảm đến hơn 5 lần, giúp giảm mạnh chi phí suy luận.

Bạn có thể hiểu là mô hình draft tạo bản nháp nhanh, còn mô hình chính chỉ kiểm tra hiệu quả. Điều quan trọng là vừa tiết kiệm tài nguyên tính toán vừa giữ nguyên chất lượng đầu ra.