有趣的事情發生在 AI 推理市場上，值得一談。NVIDIA 收購了 Groq，當黃仁勳開始解釋這筆交易的邏輯時，很明顯這並非偶然。

之前的焦點都集中在一點：如何同時傳輸更多數據，也就是帶寬。但事實證明，市場已經分裂。有些用戶願意支付更高的價格，以獲得更快的回應。代幣變得更昂貴，生成時間開始具有實際價值。這改變了整個遊戲規則。

因此，Groq 正是專注於此——低延遲。他們的 LPU 架構設計旨在提供確定性、可預測的延遲。當 NVIDIA 收購 Groq 時，基本上填補了他們產品線中的一個空缺。NVIDIA 的 GPU 仍然是帶寬的王者，但對於低延遲的細分市場，則需要另一種架構。

新的 Groq 3 LPU 芯片是合併後的第一款產品，採用 4 奈米製程。根據 NVIDIA 的說法，它在處理大型模型時的效率比其旗艦 Blackwell NVL72 高出 35 倍。這不是關於絕對速度，而是達到該速度所需的能耗。

實際上，這意味著現在可以為不同需求提供不同的解決方案：想要最大帶寬——有 GPU；需要以任何代價快速回應——有 Groq。同一個模型，根據你想要多快得到結果，價格也會不同。這擴展了推理市場中可優化的範圍。