Habrá mucha gente con dolor de cabeza por el coste de inferencia de los LLM, pero últimamente está llamando la atención una técnica llamada speculative sampling.

El principio es el siguiente: un modelo pequeño predice primero el resultado y, después, el modelo grande objetivo lo valida de una sola vez mediante procesamiento paralelo en GPU. Como se puede reducir el número de llamadas al modelo objetivo hasta más de 5 veces, el coste de inferencia baja drásticamente.

Piensa en ello como si el modelo draft generara rápidamente un borrador y el modelo principal solo se encargara de validar de forma eficiente. La clave es que puedes ahorrar recursos computacionales manteniendo la calidad de salida intacta.