
英特尔重金押注的 AI 芯片初创公司 SambaNova,正通过异构计算方案证明其商业价值。本周公布的最新基准测试显示,SambaNova 将 Nvidia GPU 与自研加速器结合,在推理性能上对纯 GPU 平台形成压倒性优势。
第三方权威机构 Artificial Analysis 的测试数据显示,在今年二月发布的 SambaNova SN50 系列加速器协助下,其平台处理 MiniMax M2.7 模型时,在 10,000 个输入 token 的短上下文场景中,吞吐量高达每秒 763 个 token,速度数倍于仅使用 GPU 的竞争对手。即便在长上下文场景下,该平台仍能维持每秒 450 个以上的 token 生成速度。
异构架构:预填充与解码分离
这一性能突破源于其独特的异构推理架构。SambaNova 将推理管线拆分为两个阶段:计算密集型的 " 预填充 "(prefill)阶段由四块 Nvidia H200 GPU 负责,用于处理提示词并生成键值缓存;而受内存带宽限制的 " 解码 "(decode)阶段,即输出 token 的过程,则交由包含 16 个 SN50 加速器的 SambaNova 机架处理。
这种分离式架构已成为降低 AI 代理长期运行成本的关键。此前,Nvidia 通过 NVL72 系统及基于 Groq 技术的 LPX 机架展示了类似思路,AMD、AWS 及 Cerebras 等厂商也相继推出异构或分离式推理平台。
SambaNova 的核心卖点在于 " 利旧 "。通过将其系统作为解码加速器,企业可为现有的老旧 GPU 集群注入新活力。此外,该系统采用风冷设计,可直接部署于传统数据中心,无需像 Nvidia 最新的 Rubin GPU 那样依赖复杂的液冷设施。
未来,SambaNova 计划展示配备 128 个乃至 256 个加速器的更高配置,以验证其在高吞吐量下的稳定性。这正是传统纯 GPU 方案难以克服的短板,也是 Nvidia 收购 Groq 的重要驱动力之一。
资本加持:F 轮融资首关完成
商业化方面,Vector Core Compute 已成为首批部署该 "GPU+RDU" 组合方案的合作伙伴,TogetherAI 则是其首个大规模客户。
资金层面,SambaNova 周三宣布完成 10 亿美元 F 轮融资的首次交割,由 General Atlantic 领投。本轮融资后,公司估值达到 110 亿美元,为其第五代产品的规模化生产提供了充足弹药。
【星途科讯 图文丨三一一 首发于 ZAKER 科技,转载请注明出处】


