A restrição de hardware que todos enfrentam primeiro? RAM.

Vamos analisar as especificações para diferentes tamanhos de modelos. Executar um modelo de 7B a 13B parâmetros normalmente requer de 16 a 32GB de RAM. Suba para 20B parâmetros e você estará olhando para aproximadamente 48 a 64GB. Para os pesos pesados, como modelos de 120B, prepare-se para 120GB ou mais.

Aqui está o ponto—investimos $15k em configuração de hardware e agora podemos implantar praticamente qualquer modelo. Essa é a verdadeira capacidade. A parte encorajadora? Esses custos devem diminuir à medida que o mercado amadurece e o hardware se torna mais acessível. Mais pessoas terão a capacidade de rodar modelos sérios localmente sem gastar uma fortuna.