我注意到最近NVIDIA的策略中有一些有趣的地方。上周，黄仁勋详细解释了NVIDIA为什么投资200亿美元来收购Groq，坦率地说，这是一项非常出色的战略决策，也显示出推理市场正在发生怎样的变化。

事情是这样的：很长一段时间里，所有人都只关注一个指标——吞吐量。但Groq明白了其他人忽略的东西：现在，软件工程师已经准备为更快的响应支付更高的价格。这是一种全新的市场细分。正如黄仁勋所说，如果我们能够提供具有超低延迟的token，让开发者更高效，他们就会为此付费——这是一个刚刚开始出现的市场。

这也是Groq开始发挥作用的地方。这次收购弥补了NVIDIA推理武器库中的一个重大缺口。尽管NVIDIA凭借传统解决方案在高吞吐领域占据主导地位，但Groq带来的是完全不同的东西：一种以其极低确定性延迟而闻名的LPU架构。在3月的GTC上，NVIDIA展示了Groq 3 LPU，该产品采用三星4纳米工艺制造。数据令人印象深刻——与Blackwell NVL72相比，在1,000亿参数级别的模型上，每兆瓦的推理能力高出35倍。

从本质上说，这相当于对市场帕累托曲线的扩展。NVIDIA不再需要在高吞吐或低延迟之间做二选一，而是现在打造了两个截然不同的细分市场。Groq会继续以独立实体的身份运营；Jonathan Ross和他的团队也已加入NVIDIA。甚至模型本身还能根据响应时间进行不同定价——吞吐量较低，但单价的补偿幅度足以覆盖。简直是纯粹的商业天才，也表明AI市场正在变得越来越精细。这两种路径将会并存，客户将根据自身的真实需求来做选择。