Nvidia Groq 3 LPU 芯片

英伟达周一宣布，其 Groq 3 LPX 机架已全面投产，标志着公司史上最大规模收购所涉及技术的商业化正式落地。

英伟达高级总监 Dion Harris 表示，Groq 机架将部署在 Neocloud Nebius 平台上，与 Vera 中央处理器和 Rubin 图形处理器协同工作，并将在今年晚些时候上线。

英伟达加紧制造 Groq 芯片并推向客户，凸显了低延迟推理日益增长的重要性——这是让 AI 智能体响应迅速、避免用户长时间等待的关键，尤其在编程场景中尤为重要。英伟达表示，云服务商可以为此类 token 收取更高费用。

Harris 在电话会议中称：" 对于提供 token 服务的厂商来说，这为他们提供了向那些对延迟最敏感的客户提供优质服务层级的可能，以满足相应的服务等级协议。"

去年 12 月，英伟达以 200 亿美元收购了芯片初创公司 Groq 的资产，这是公司迄今最大的一笔收购。

Groq 架构在芯片裸片上集成了 500 兆字节的高速 SRAM，以减少内存瓶颈。Groq 芯片由三星代工，而英伟达的 GPU 则由台积电制造。

英伟达将 256 个独立的 Groq 3 芯片封装在 LPX 机架中。根据 Artificial Analysis 的基准测试，英伟达称其 Groq 3 LPX 机架可提供每秒 3400 个 token 的吞吐量。

这是一个竞争激烈的领域。较小的 GPU 制造商AMD今年早些时候宣布，将把其机架级系统与近期上市的 Cerebras 芯片集成，同样聚焦低延迟推理。OpenAI 新近宣布的 " 超快模式 " 目前承诺每秒 750 个 token，且 " 由 Cerebras 提供支持 "。

低延迟芯片并不会取代 GPU —— GPU 是 AI 芯片的主力，既可进行训练也可进行推理，且足够灵活以适应新技术和新模型。像 Groq 这样的低延迟芯片主要专注于模型服务中的一个环节，即 " 解码 " 阶段。

Harris 表示：" 这不是要取代 GPU，而是要在合适的负载部分使用合适价格、合适的处理器。"

英伟达目前正在加快 Vera Rubin 系统的出货，该系统已于今年早些时候投产。在 3 月 Vera Rubin 和 Groq 3 LPX 的发布会上，英伟达 CEO 黄仁勋预计，从当前一代 Blackwell 芯片到新的 Vera Rubin 系统，到 2027 年的累计销售额将达到 1 万亿美元。

黄仁勋当时表示，他将在专用于编程应用的数据中心空间中，划出四分之一分配给 Groq 芯片。

黄仁勋说：" 我数据中心的其余部分将全部使用 Vera Rubin。"

英伟达将于周三公布财报。