La contrainte matérielle que tout le monde rencontre en premier ? La RAM.

Décomposons les spécifications pour différentes tailles de modèles. Exécuter un modèle de 7B à 13B paramètres nécessite généralement 16 à 32 Go de RAM. Passer à 20B paramètres nécessite environ 48 à 64 Go. Pour les poids lourds comme les modèles de 120B, préparez-vous à 120 Go ou plus.

Voici le truc — nous avons investi $15k dans la configuration matérielle et maintenant nous pouvons déployer pratiquement n'importe quel modèle. C'est une vraie capacité. La bonne nouvelle ? Ces coûts devraient diminuer à mesure que le marché mûrit et que le matériel devient plus accessible. Plus de personnes pourront faire fonctionner des modèles sérieux localement sans se ruiner.