
智谱的当务之急是解决算力供给问题。
作者丨陈嘉欣
编辑丨马晓宁
AI 科技评论独家获悉,智谱已经花数亿元人民币收购 AI Infra 公司中科加禾,试图补齐模型底层工程能力不足的短板。
中科加禾(XCore Sigma)是一家聚焦编译技术的 AI 异构算力软件基础设施公司,目标是为国产 AI 大模型产业提供跨品牌、跨型号的标准化 AI 软件底座。
中科加禾的技术源头是中科院计算所编译实验室。创始人崔慧敏博士是中科院计算所编译团队负责人,公司核心团队曾作为核心成员主持或参与过龙芯、神威、寒武纪、华为昇腾等多款国产芯片的编译器研发工作,具备从虚拟指令集设计到算子生成、转译、优化的全链条能力,且已有商业化产品验证。
Infra 层的投资一直是智谱生态版图中的重中之重。此前智谱曾通过星连资本投资了做算力集群的基流科技、做推理优化的无问芯穹、做 AI Infra 的硅基流动等公司,基本覆盖了全链条。但这依旧改变不了智谱 Infra 能力备受市场争议的事实。
因为算力扩容跟不上需求,今年 1 月智谱宣布将 GLM Coding Plan 每天开放购买的新用户名额压缩到正常水平的 20%,以优先保障老用户体验。
3 月智谱 GLM-5 模型发布后,Coding Agent 每日调用量达数亿次。但不久后,用户就开始反馈 GLM-5 在复杂任务中出现乱码、复读、生僻字等 " 变笨 " 现象。
智谱在《Scaling Pain: 超大规模 Coding Agent 推理实践》博客中一项项排除故障,最后发现问题在于推理架构在高并发下暴露了系统性工程问题。
简单说,就是 " 读题 ( Prefill ) " 和 " 写答案 ( Decode ) " 的服务器在协调 " 临时记忆 ( KV Cache ) " 时出现混乱,导致了数据冲突。
智谱在博客中提到:" 当智能真正进入高并发、长上下文的 Coding Agent 场景后,推理基础设施的挑战已经不只是吞吐、延迟和可用性,维护它的输出质量变得至关重要。"
这点在 6 月 GLM-5.2 发布后显得更为关键。GLM-5.2 发布后成为 Vercel 模型聚合平台增长最快的模型,上线首周日均 Token 调用量暴涨 27 倍。
如何解决算力结构性问题,是智谱的当务之急。被列入美国实体清单后,智谱又不得不面对国产芯片厂商适配成本高的问题。
在国内大模型厂商中,智谱是对国产 GPU 覆盖最广、生态绑定意愿最积极的一家。智谱 GLM-5.2 上市当天就完成了对华为昇腾、平头哥、摩尔线程等八大国产算力平台的推理适配。
将不同架构的国产芯片拼装成一个统一的超大规模训练和推理集群,在工程上是极难的。但中科加禾的虚拟指令集技术能把这一堆烟囱式生态用一个中间层软件统一掉,对上是标准接口,对下是各家芯片的适配,同一颗芯片的算力利用率就会比之前高出一截。
此外,中科加禾的 SigInfer 推理引擎宣称能将大模型推理时延最高降低 74 倍、吞吐率最高提升 3 倍、能效比提升 1.46 倍,如果这些指标能在智谱的生产环境里兑现哪怕三分之一,对智谱的单位 Token 成本都是量级上的改善。
但更重要的在于智谱自研芯片的野心。7 月 7 日外媒曾爆料智谱正在与国内芯片设计公司接洽,评估合作开发定制 AI 推理芯片的可能性。编译器是自研过程中绕不开的一环。
上车,带你看遍全球 AI 顶会精华
可独家畅览:
专家演讲 PPT
大会报告全文
热门论文解读
学术新星访谈
未经「AI 科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!
公众号转载请先在「AI 科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。


登录后才可以发布评论哦
打开小程序可以发布评论哦