Banyak orang mungkin pusing karena biaya inferensi LLM, tapi belakangan ini teknik yang menarik perhatian adalah speculative sampling.

Prinsipnya begini: model kecil terlebih dahulu memprediksi hasil, lalu model target yang lebih besar melakukan verifikasi secara paralel di GPU dalam satu kali proses. Dengan cara ini, jumlah pemanggilan model target bisa dikurangi hingga lebih dari 5 kali, sehingga biaya inferensi turun drastis.

Bayangkan saja model draft dengan cepat membuat draf, lalu model utama hanya memverifikasi secara efisien. Intinya, sumber daya komputasi bisa dihemat tanpa mengorbankan kualitas output.