投中网 20小时前
国产算力利用率突破65%,AIGCode L3级大模型的全栈突围
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

将投中网设为 " 星标⭐ ",第一时间收获最新推送

" 非共识声音是不被听进去的 "。

作者 簪竹

本文字数 4701

手搓量丨 100%    AI 含量丨 0%

6 月中旬,一笔 600 亿美元的收购给 AI 应用行业带来了重创和不安,之后,VC 不再投 AI 应用的悲观论调开始发酵。

没错,这笔收购就是马斯克买下 AI 应用顶流 Cursor,往小了说,这是一个让四个 00 后财富自由的故事,往大了说,这再次证明了 AI 应用的终局是大厂和基模的游戏。

在这,我们不评价,也不预测,只想直面一个本质的问题,对于 Cursor 来讲,这笔交易为何会发生?除了交易金额外,市面上比较一致的看法是没有基座模型能力的 AI Coding 优势不可持续,而自研成本又过高,找棵大树依靠是一个高性价比的选择。

另一个事实是 AI Coding 领域 99% 的厂商还死卷在 L2 代码补全(Copilot)的红海里打价格战,做不出真正端到端的代际突破。

那么 AI Coding 这个被看做最火热的赛道终局将走向何处?一家成立两年的公司 AIGCode 正在给出一个独特的全栈解法。

选那条闭环最短的路

但 " 非共识声音是不被听进去的 "

AIGCode 的创始团队是一群来自全球顶尖高校和大厂一线的技术极客。

在创业之前,一直在技术一线的 CTO 陈秋武发现了一个根本性的问题:很多智能不足的根源不在微调,而在基座大模型本身。" 我们发现很多问题其实来自于基座大模型,而不是微调的能力。"

这个判断决定了公司的轨迹。

紧接着,陈秋武就盘点了团队的技术储备:算法能力强、基建功底深厚、架构设计经验丰富。团队在过往的技术实战屡次突破工程与算法的极限,早在 2012 年,便通过实时个性化推荐技术,将腾讯微博广告的点击率提升了三倍,随后在微信位置服务项目中,仅凭 16 台服务器便成功扛住了 10 亿级别的线上流量。陈秋武在微软任职期间,不仅在实时突发事件监测、实时聚类与实时排序三大算法上取得关键突破,将其成功应用于美国大选的社媒实时追踪,还针对法学院入学考试(LSAT)问答场景,完成了复杂的子句因果逻辑建模,并将系统的端到端延迟大幅降低了 99.99%。这三个优势叠加,指向了一个结论,这个团队适合做基础大模型研发。

但做什么样的大模型?彼时,国内 " 六小虎 " 正风头正劲,投资人们追捧的是 OpenAI 路线的中国复刻者,可即便如此,陈秋武和团队还是决定不凑热闹,反而选择了一条逆主流的路——不做通用,聚焦 Coding。

选择 coding 的逻辑只有四个字,闭环最短。陈秋武此前在垂直大模型的落地过程中体会到,如果跟行业专家团队合作,闭环太长,而 Coding 领域团队本身就是技术极客," 我自己做出来的东西,我自己能识别出这个智能程度够不够。"

更关键的是,他对 AI 编程的终局有自己的判断。

当前市场上的产品,无论是 GitHub Copilot、Cursor 还是 Claude Code、Codex,本质上都处于 L2 级别,即 " 辅助驾驶 ",需要懂代码的人在一旁盯着,反复提示、修正,模型才能产出实际可用的结果。AIGCode 想做的是 " 自动驾驶 " 级别的 L3:用户提出自然语言的需求,端到端完成生产级前端、后端、数据库的完整闭环。

于是,AIGCode 的产品 AutoCoder.cc 是国内极少数能端到端生成前端、后端和数据库,并提供测试和运维部署能力的 AI 编程产品。陈秋武认为,这不仅仅是商业产品,更是整个技术闭环的关键一环。

他的逻辑链条是:当前所有大模型的训练数据只能提供 L2 级别的样本,因为 L3 级别的应用还没有出现。没有 L3 的数据,模型就无法从 L2 跃升到 L3。因此,AutoCoder.cc 的真正价值是为基座模型生产 L3 训练数据。" 通过 L3 应用的搭建来形成 L3 的样本,通过 L3 样本的训练让模型达到 L3 级别。这是我们的核心闭环。"

他的账本是:"70%-80% 投入流进算力的口袋,这种模式是不正确的畸形,至少搜广推完全不是这样。大部分收益壁垒来自算法而非算力。另一笔是 L2 大模型需求从提出到完成任务,需要多轮矫正,百万 token 弹指湮灭,而 L3 大模型则完成任务只需千 - 万级 token。当训练迭代成本在千万级别时,算力就该让位于算法退居二线。"

毕竟,这是大模型时代,而不是显卡时代。

他用复杂度量化了当前的行业现状,比如电商网站的复杂度约为 4,操作系统约为 6,《黑神话:悟空》约为 10。再到产品侧,国外竞品模型生成的复杂度大约在 2 左右,只能做多个单页面。对于生成一个多角色、长逻辑链路的任务,都是做不到的。

对此,陈秋武用了一个意味深长的比喻。"iPhone 没出来之前,大家认为诺基亚已经非常好了。但事实上 iPhone 面世后,人们才真的知道有智能机这回事。"

他认为当前的大模型行业就处在 " 诺基亚时代 ",距离真正的智能(L3/L4 级别)还有本质差距。而这个差距,恰恰是创业公司的窗口。

所以,AIGCode 团队正在做的事情,归根结底就是一句话:在国产算力上,通过底层研究创新提升预训练效率,通过端到端产品产生 L3 数据,用 L3 数据训练下一代模型,形成一个完整的正向循环。

他们内部也称之为 "3No 范式 " ( No Nvidia, No L2, No Blind Scaling),即不依赖英伟达单一路线、跨越 L2 辅助、拒绝盲目堆量,直接用无需人监督任务完成度高的 L3 交互数据去训练下一代端到端 L3 级大模型,这也将导向全新的 agent 应用范式。

这个方向在 2023 年 10 月就确定了,但当时国内外大量投资人的共识是跟着 OpenAI 走," 非共识的声音(他们)是听不进去的。"

从国产替代出发

把国产头部算力的

MoE MFU(混合多专家算力利用率)做到 65%

再说回国产算力上,AIGCode 是纯血国产模型和应用,也就是最近比较火的 " 零英伟达 " 模型。

但国产替代从来不是一条容易的路,我们前几天曾在寒武纪市值破万亿时写到这是最朴素的现实主义,AIGCode 的故事同样如此,因为没得选,所以只能走好脚下的路。

2024 年 3 月,成立不久的 AIGCode 在算力紧张的困境下,登上了某国产算力的训练集群,开始了在国产芯片上的大模型预训练。

这是一条几乎没有创业公司愿意走的路——自研基座模型,同时深度优化国产算力生态,还要做端到端的 AI 编程产品。

" 一开始确实是因为算力紧缺。"AIGCode CTO 陈秋武坦率地承认。但两年后,这支小而精的团队在国产算力集群上实现了 MoE 架构 65% 的算力利用率(MFU),这个数字超过了字节 Seed 在 2025 年 10 月公布的 MoE 效率纪录,这也意味着,一张国产卡,被他们当成了两张用。

团队把预训练中闲置的 CPU 资源,吞吐量优化到 300 倍,矩阵乘计算性优化到 100 倍,承接显卡冷门长尾专家的计算,把 HBM 利用率与全局 / 微批次提高双倍。整体训练提效 35%,而在增强后训练,通过 CPU TB 级内存双副本指针切换,免去采样→训练→推理多线频繁上下文切换性能理论上限提效数十倍。

更重要的是,他们试图证明一件国内大模型行业几乎无人相信的事,只做应用层不够,只做模型层也不够,必须从底层基础研究、预训练效率到产品端完成真实长程任务,垂直打通整条链路,才能触达下一代大模型的门槛。

真正让团队与国产算力深度绑定的,是 2025 年底国产头部算力的负责团队的一次深度交流,双方团队达成了合作方向:把该算力体系下 MoE 的 MFU 提升上去。

" 我们一开始设定的目标是 50%。"

结果远超预期。2026 年 2 月底,36.3%;3 月底,50%;4 月 14 日,65%。

这背靠的是极致的底层技术突围。在大模型时代,算法、工程、产品与商业化高度交织,常规的割裂分工模式已然失效。我们的核心成员必须是兼具 " 算法 + 工程 " 能力的复合型人才,深度精通大模型算法及训练推理框架底层、高性能优化会用 C 语言甚至汇编、超节点统一内存池管理、超节点架构及分布式异步通信优化等深水区技术,这是很多团队技术很难触达的范围。

外界常将团队的战斗力简单归结于 AI Native,但这只是冰山一角,大模型赛道创业成功的核心在于领导者是否 " 懂技术、贴一线 "。面对大模型的复杂链路,传统 " 脱产纯管理 " 的模式已无法胜任,大厂还要解决部门墙的天堑,只有深入技术细节、直接主导技术决策的掌舵人,才能真正带兵打硬仗。

不可否认,国外硬件生态早已达到 " 好用 " 的标准,而头部的国产算力目前仍处于从 " 可用 " 向 " 好用 " 过渡的阶段。但只要自身技术底子够硬,AIGCode 的团队通过极致的软件优化,去抹平这道硬件上的鸿沟。

陈秋武把这种角色定位为国产算力生态的 "Windows",他进一步解释,正如 Intel 的 CPU 需要 Windows 才能被普通用户使用,国产算力硬件也需要他们这一层的软件积累才能真正好用。

18 个月磨一剑:被忽视的基础研究

如果说算力适配是 " 体力活 ",那么基础研究就是 AIGCode 最核心的 " 脑力 " 投入。

梁文锋说过,你一定要在技术领域做出一些突破才有可能。在陈秋武看来,大模型还属于少年期,很多技术机制还不完善。在这种情况下,堆人力、堆资金、堆钱都没有太大用处。

在这种观念和信仰的驱使下,AIGCode 团队花了 18 个月研发出了 TPE(树形位置编码),彻底取代了业界通用的 RoPE 方案。

陈秋武给出了一组让业内惊艳的数据:

外推能力是 RoPE 的 8 倍;在 8 倍以上外推时,搜索性能仍保持近 90%;而 RoPE 在 4 倍以上性能就急剧下降,8 倍以上 " 搜索性能接近于零 "。

技术原理上,RoPE 是线性算法(加法),TPE 是乘法结构,四层各 1K 的乘法可达 TB 级别的无损位置表达。"1Kx1Kx1Kx1K,四次相乘就是 1T 级别。而 RoPE 本质上是高频外推、低频内插,大模型是概率模型,分布变形会影响效果。"

更让他惊奇的一个发现是:只要跟 RoPE 反着来,你会发现有比较大的收益。我们取消了 RoPE 之后,竟然带来了额外的收益。

当然,TPE 的突破只是一个开始,基于 TPE,团队进一步做出了 TPA —业界首个无损线性注意力机制。

陈秋武解释,目前流行的 KDA、DSA 等方案本质上是有损的,具体做法是通过丢弃或降权他们认为不重要的远距离 token 来实现线性复杂度,但其实(这些 token)并不是不重要,只是 RoPE 的位置编码导致越远的 token 贡献越低丢弃影响不大而已。

而 TPA 通过乘法方式实现完全无损的线性注意力,训练成本、显存占用与原版对齐,性能却是 RoPE 的 8 倍。Loss 收益方面,TPA 达到 0.113,而近期引起关注的 Muon 优化器相比 AdamW 在实验条件下的 loss 收益不到 0.02。

有了这两个前提,陈秋武和团队还提出了两阶段规律学习,这是他们琢磨最多的创新之一。

陈秋武将预训练过程类比为登山,常规训练每次都从山脚爬到山顶,而两阶段学习则是在山腰和山顶之间建了一部 " 缆车 "。

展开来讲,模型在预训练中学的是 token 拼装成的 embedding,为了在任意上下文中预测准 next token,它要把知识点梳理成更高压缩比的神经元表达方式。这就是涌现能力的来源,但涌现能力不是必然发生的。

目前大模型的有效上下文边界是预训练全注意力的 4K 乘以 RoPE 的 8 倍外推,即 32K。在此范围内,模型具备上下文学习、推理、归纳的能力;超出这个范围,能力大幅衰减。两阶段学习的目标是,把浪费在重复拟合常见分布上的神经元节约出来,集中到涌现能力的学习上。

除此之外,AIGCode 还提出了专家解耦架构(PLE),一个对当前主流 MoE 架构的根本性改造。传统 MoE 的门控网络用 softmax 概率选择专家,AIGCode 的做法是用注意力机制中的 QK 矩阵,来选专家,让每个专家拥有明确语义感知的 " 知识领地 "。

陈秋武用仓库管理做类比,原来是在桌子上等分画了 16 个区域,至于区域里放什么完全靠概率。现在我们把左上角定义为小件生活用品区,右下角定义为大件柜子区,这就是有意义的。

这项研究源于 2024 年 3 月基于国产算力集群的预训练,该成果 LokiFormer 已被 ICML 2026 录用," 两年前的结果,到现在还能拿到最新的学术认可。" 陈秋武对此感到满意。

学术之外,在商业化上,AIGCode 也迎来了进展," 原来他们需要采购二三十个 SaaS 组件,现在用我们的 AutoCoder.cc,15-20 分钟就能有一个完整的前端、后端和 APP。"

一个有趣的现象是,AutoCoder.cc 目前 60% 的付费用户来自,一个纯国产国产 AI 应用面向的主要是海外中小企业主,这本身就是一场突围。也证明了依靠纯国产算力,扎根底层技术创新,是完全能够走出一条新路的。

当前,这条路也成为了越来越多公司的共识。

日前,美团 LongCat-2.0 正式发布,这是业界首个在五万卡国产算力集群上完成训练与推理全流程的万亿参数大模型,也是首个从训练到推理,全程由国产算力独立完成的万亿规模全流程跑通。更早之前,DeepSeek V4 也完成了从英伟达 CUDA 生态到华为昇腾等国产平台的迁移与适配。

这让我想到,在交流过程中,陈秋武从宏观视角给出的判断:中国的增速曲线高于美国,国产算力生态的加速度高于英伟达。英伟达虽然是半垄断地位,但成本太高,存量消耗完了,增量就小于国产算力生态的增量,中国人再把性价比打上去这件事,比海外强很多。

如今,国产算力生态正在成为主流,属于 AIGCode 的故事也将告别非共识,走到舞台中间,被认可和看见,并在这场被认为只有大厂才有资格入场的游戏中,走得更好更远。

投中网原创

随手点赞,戳个在看

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 马斯克 中网
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论