Beaucoup de personnes doivent avoir mal à la tête à cause du coût d’inférence des LLM, et dernièrement, la technique qui attire l’attention s’appelle le speculative sampling.

Voici le principe : un petit modèle prédit d’abord le résultat, puis un grand modèle cible le vérifie en une seule fois grâce au traitement parallèle sur GPU. Cela permet de réduire jusqu’à plus de 5 fois le nombre d’appels au modèle cible, ce qui fait baisser drastiquement le coût d’inférence.

On peut imaginer que le modèle draft crée rapidement un brouillon, et que le modèle principal se contente d’effectuer une validation efficace. L’essentiel, c’est qu’on économise des ressources de calcul tout en maintenant la qualité de sortie.