所以有一些有趣的Groq新聞在傳播，關於NVIDIA在推理領域的策略性動作。結果證明黃仁勳剛剛解析了他們當初為何要追求Groq背後的真正思考。

去年十二月，NVIDIA投入$20 十億美元收購Groq的推理晶片業務。創始人Jonathan Ross和他的核心團隊加入了NVIDIA，但事情是——Groq仍然獨立運作。然後在今年三月的GTC上，他們展示了基於三星4nm工藝打造的Groq 3 LPU晶片。性能數據相當驚人：在兆參數模型上，每兆瓦推理吞吐量比NVIDIA的Blackwell NVL72高出35倍。

但真正吸引我注意的是黃仁勳對市場動態的解釋。他談到推理市場正逐步分裂成不同的細分市場。多年來，大家都專注於一件事：最大化吞吐量。但這正開始改變。代幣經濟學已經發生了巨大轉變。不同的用戶現在對不同的反應速度有不同的價值觀，並且願意為此付出相應的代價。

黃仁勳說得很清楚：如果你能提供給開發者反應更快的代幣，讓他們的生產力更高，他們就會為這個能力支付溢價。這是一個相對較新的市場，最近才開始出現。它本質上擴展了帕累托前沿——在現有高吞吐解決方案的旁邊，加入了一個低延遲、更高每代幣定價的細分市場。

這就是Groq的LPU架構的用處。它是為確定性低延遲而設計，幾乎與GPU優化的方向相反。GPU在吞吐量上表現出色。所以Groq的收購基本上填補了NVIDIA產品策略中的一個空白。你可以用兩種不同的方式運行同一個模型：在GPU上最大化吞吐量，或在Groq的LPU上實現超低延遲。不同的定價模型適用於不同的用例。

這裡的Groq新聞真正突顯了AI推理市場正逐步成熟，不再只是純粹的計算能力。它關乎理解不同客戶的實際需求，並為每個細分市場打造合適的工具。如果你問我，這是一個相當聰明的策略。