Achei bem interessante essa história da NVIDIA com a Groq. Basicamente, o que Huang Renxun explicou agora faz muito sentido estratégico.

A coisa toda começou porque o mercado de inferência mudou. Antes, todo mundo focava em uma coisa só: aumentar throughput, processar mais requisições ao mesmo tempo. Mas aí a galera percebeu que nem sempre é assim que funciona na prática. Alguns usuários estão dispostos a pagar mais caro por respostas mais rápidas, independente do volume total.

É tipo assim: você tem dois modelos iguais, mas um responde em 50ms e outro em 500ms. Se você for um engenheiro desenvolvendo aplicação em tempo real, quanto você pagaria a mais por aquele que é 10 vezes mais rápido? Pois é, esse mercado de baixa latência é totalmente diferente do de alto throughput.

Aí entra a Groq nessa história. A arquitetura LPU deles é justamente especializada nisso, em latência determinística baixa. Enquanto as GPUs da NVIDIA dominam o lado do throughput massivo, a Groq preenche um buraco completamente diferente. Quando você olha para o Groq 3 LPU que saiu em março, feito em 4nm pela Samsung, a capacidade de inferência por megawatt em modelos trilionários é 35 vezes melhor que o Blackwell NVL72. Isso não é pouca coisa.

O que Huang está dizendo basicamente é que a NVIDIA entendeu que não existe um único mercado de inferência, mas sim dois segmentos bem distintos com dinâmicas completamente diferentes de precificação. Você pode ter throughput menor, mas se o preço unitário por token é muito mais alto, compensa. É como expandir a fronteira de Pareto do mercado.

Essa foi uma jogada bem pensada da NVIDIA, na real. Eles reconheceram uma lacuna e foram atrás. Jonathan Ross e o time da Groq continuam operando de forma independente, mas agora com todo o peso da NVIDIA por trás. Parece que finalmente alguém está pensando em inferência de forma mais sofisticada.