LLM推論コストで頭を悩ませている人が多いと思いますが、最近注目されているのがspeculative samplingという手法です。

原理はこうです―小さいモデルがまず結果を予測し、大きなターゲットモデルがGPUの並列処理でまとめて検証する方式です。ターゲットモデルの呼び出し回数を最大5倍以上減らせるので、推論コストが大幅に下がります。

ドラフトモデルが素早く下書きを作り、メインモデルは効率的に検証だけを行う構造だと考えれば良いでしょう。コンピューティングリソースを節約しつつ、出力品質はそのまま維持できるのがポイントです。