¿Por qué ejecutar modelos localmente?

Típicamente dos razones principales - privacidad y costo
Exploremos el lado del costo con un ejemplo y veamos cómo se calcula
Digamos que quieres ejecutar un bucle Autoresearch durante la noche como @karpathy
Si tienes acceso a un H100, puedes ejecutar 100 experimentos durante la noche usando Opus-4.6 y el costo de API probablemente estará en el rango de $10-25
Pero la mayoría de nosotros no tenemos la suerte de tener acceso a un H100
Aún podemos ejecutar 100 experimentos de Autoresearch en una MacBook por los mismos $10-25, pero no será una comparación directa
El H100 completará 50-100x más pasos de entrenamiento en el mismo período de tiempo
Entonces, si quieres reproducir el mismo número de pasos de entrenamiento, podrías terminar pagando $1000+ en costos de API, y por supuesto tomará mucho más tiempo que una noche
Esto no sería muy inteligente ya que puedes alquilar un H100 por mucho menos y lograr el mismo trabajo más rápido
Pero comienza a pintar un cuadro de por qué querrías ejecutar modelos localmente - te permite hacer experimentos que de otro modo serían prohibitivamente caros para la mayoría de las personas
Comienza a nivelar el campo de juego
Estoy ejecutando Qwen3.5 9B en una PC antigua y ahora tiene sentido experimentar con cosas que de otro modo no haría si tengo que pagar los costos de API
Y eso es un gran avance que solo se abrirá más con el tiempo a medida que los modelos mejoren y se hagan más pequeños