硅星人 8小时前
姚顺雨在混元的取舍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

作者|董道力

邮箱|ddl941110

11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨带着团队的研究员,在 Reddit 上做了一场两小时的 AMA(Ask Me Anything),收到 300 多条留言。这是混元第一次在开发者社区公开答问。

一个开发者的问题相当直接:字节、Kimi 都在向 3T 甚至 5T 的模型推进,为什么混元还在 700B 级别?

混元的回答是,Hy3 和 Hy4 已经说明,做得扎实的较小模型也能胜过更大的,而且成本更低,研发过程中能学到的东西也更多。但在另一个回答里,他们又明确说,下一代模型的规模一定会进一步显著扩大。

一边强调小模型的价值,一边承诺继续做大。这种看似矛盾的回答,贯穿了姚顺雨最近的两次交流。三天前,11 月 18 日晚,姚顺雨回了趟母校清华,与本科同学交叉信息院助理教授吕凯风做了一场闭门对谈。两次分享难得把他对混元的思考更全面呈现出来,他在建立一种有相互牵制的优先次序。

这些取舍有相当现实的背景。同在 11 月 18 日,腾讯管理层在三季度业绩会上表示,新收紧的先进算力限制会影响中国所有参与者,模型训练也会受到影响,短期内下一代混元可能需要更长时间才能推出。

今天所有中国模型追赶者要面对的是一个仍在移动的前沿,支撑追赶的先进算力,却未必能按计划到位。即使追上一项能力,也还要面对另一批迅速跟进、愿意以更低价格出售它的竞争者。

在这样的处境里,务实很容易成为一句正确的空话,最终一切落在资源花在了哪里,为此接受了哪些代价,又打算凭什么维持下一轮竞争。姚顺雨的分享提供了这些问题的难得的细节。

1 相信规模 也要看眼前

无论小模型的故事多动人,绕不开的问题还是:混元目前的规模,是克制,还是算力有限下的无奈?

两场分享没有给出足以把两者彻底分开的证据。团队确实相信 Scaling law,明确计划继续训练更大的模型;管理层也确实承认了训练算力的约束。把现有规模完全解释为主动选择,容易替一家追赶中的实验室省略掉它面对的困难。

但姚顺雨显然也没有从约束中推导出 " 小就够了 " 的结论。

据清华对谈的现场整理,他谈到自己博士后期的一次受挫:提出 ReAct 后,曾尝试在 LLaMA 13B 上用相关轨迹做训练,效果很差,一度怀疑自己的研究判断。后来,他意识到模型规模可能是其中的重要因素。小模型上的失败,未必意味着方法本身无效;小模型上有效的改进,也未必能直接搬到大模型上。

这段经历解释了他对算力的态度。某些能力需要达到一定规模才能显现,研究者不能因为手头的小实验没有成功,就宣布那条路走不通。反过来,花更多钱也不会自动消除实验设计的问题,还需要通过规模阶梯实验,判断哪些规律值得带到下一轮大训练里。

所谓规模阶梯,是在几个不同规模上检验同一项设计,看收益怎样随模型和计算投入变化。比如混元比较 MoE 稀疏度时,就做过这类实验。小实验由此提供可向更大规模外推的线索,研究者也要检查,原来的优势会不会随规模消失。

在清华的分享,有一个关于具身智能创业的问题,他回答的思考可以用来理解混元。你选择的技术路线,能不能持续从更多算力中受益?如果数据供应和训练方法消化不了新增算力,手里有更多卡也没有用。

所以混元眼下的取舍就是在回答一个有时间限制的问题,在这一轮资源条件下,要先把多大规模的模型真正训好,要如何获得可信的经验,再把哪些东西带向下一轮。

AMA 里,一位研究员坦言,从 Hy3 扩到 Hy4 时,数据消融实验没有做到他希望的充分程度,开训前心里很紧张。好在训练最终出乎意料地顺利,他形容那种感受,像是把筹码全押上,结果赢了。

庆幸就说明 " 做扎实 " 也有边界。训练周期、算力预算与发布节奏,都不会等到研究者消除全部不确定性。实验室始终要在证据还不完整时做决定。

国产模型今天的困难就变得具体:当先进算力更难取得,一次训练押错方向,损失里包括的还有下一次试验的机会,牵一发动全身,提高每一轮训练能带回来的知识,因而和提高这一轮的模型分数一样重要。

2 大模型和小模型的账

AMA 上开发者最关心的事情之一是能不能在本地跑。混元团队明确说,更小尺寸的 Hy4-mini 已经在路线图上。有人问,能不能出一款面向客户聊天、文档解析这类低开销任务的 Flash-Lite,得到的回答是:敬请期待。

在清华对谈里,姚顺雨谈到过一种模型层级体系:先把基础模型训到足够强,再用蒸馏等办法,获得不同尺寸的版本,分别对应不同的延迟和成本预算。

Hy4 和 flash 就是一个现成的例子。Hy4 在后训练阶段最难改的毛病是过度思考,题能做对,但想得太久。团队在 AMA 里承认,思维链过长是个已知问题。不过,Hy4 较强的推理能力也使它可以作为蒸馏的来源,让 flash 继承能力,再通过强化学习压短思维链。

混元在 flash 模型卡中披露,强化学习使其平均端到端输出 Token 减少了 50%。因而," 让模型少想一点 " 也是训练要解决的问题:尽量减少多余步骤,同时保住完成任务的能力。

这里连着两种不同的任务。旗舰模型要尽量把还不会的事情做出来,日常模型则要把已经会做的事情,以用户能接受的速度和价格交付。后者的节省,才有机会让前者的研发投入覆盖更多使用场景。

混元团队在架构上的取舍也绕着这个思路取舍。

有人问,在总参数量不变的情况下,如果把 flash 每次生成时调用的激活参数,从 12B 再砍到 8B 甚至 5B,质量会掉多少。团队预计会显著受损:激活参数量决定了计算预算,提高稀疏度能换来一部分效率,补不回全部。过于稀疏的 MoE,也可能占着大量 GPU 显存,却用不满算力。

注意力机制上,团队在 GQA 和 MLA 之间权衡了很久。同样的 KV cache 大小下,MLA 的质量更好,但计算强度更高,在推理 GPU 上做推测解码时,会遇到算力瓶颈。引入 DSA、降低解码阶段的计算强度后,权衡才倒向 MLA。到了 flash,又采用混合滑动窗口注意力,进一步减少缓存开销。

flash 还改变了专家网络的计算方式:LatentMoE 让专家在较低维度的空间里工作,每个 Token 从 512 个路由专家中激活 16 个,另加一个共享专家;Engram 则用可学习的查表表示,补充相邻词元组合的信息。这些设计都在重新分配有限的计算与存储预算,需要在训练中验证能否保住能力。

这些细节说明," 模型小 " 和 " 服务便宜 " 之间,隔着一整套硬件与软件的配合。参数表上省下来的计算量如果换成了更严重的显存或带宽瓶颈未必能替用户省钱。

连量化也可能需要重新训练。量化用更少的比特表示权重,节省空间,却会引入误差。团队在 AMA 中说,更倾向于全参数的量化感知训练(QAT),让路由器与模型其余部分一起训练。在 MoE 中,负责决定任务交给哪些专家的路由器,需要与专家权重共同适应这种变化。

端侧的问题也相同。有开发者指出,在 Strix Halo、DGX Spark 这类设备上,内存带宽会让云端看上去高效的模型跑得很慢。对此混元团队的回答是,对端侧模型会采用不同设计,让架构与边缘设备的 GPU 更紧密地协同。团队认为,约 30 亿激活参数的模型,已经可以承担有用的视觉理解,但把这种能力交到用户手里,还需要适配实际硬件。

姚顺雨在清华还谈到了对模型定价的判断。他认为商品能卖多少钱很大程度上取决于竞争格局。他估计一项新能力的领先窗口可能只有三到六个月;同等能力的替代品出现后,价格就会承受压力。

这意味着国产模型即使做到了 " 能力接近、价格更低 ",也还没有自动获得一门能长期成立的生意。便宜能带来使用量,收入能否覆盖训练和推理投入,还取决于实际成本、付费意愿,以及竞争者下一次降价。

腾讯披露,在内部日常工作评测 WorkIndex 中,flash 的单任务成本约为 Hy4 的二十分之一。这个结果有明确的任务范围,不能直接推广成所有场景都便宜二十倍。但它指出了比 Token 单价更有意义的衡量方式,用户完成一件事最后究竟花了多少钱。

对于一个会反复调用工具的 Agent,便宜的 Token 可能被多余的思考和重试吃掉。一次完成任务的可靠性,和推理价格一起决定实际成本。混元要压缩的,最终是整件工作的开销。

3 判断力和 taste

在姚顺雨的清华分享里,Taste 是一个反复出现的词。放在训练数据上,它可以理解为对 " 什么值得教给模型 " 的判断力。

他认为,未来一两年仍有大量数据潜力可以挖掘。高质量代码获取成本高,训练时可能需要反复用,但重复多了,模型可能只是把它背下来。同一份代码,第二遍、第三遍,还值不值得再占一份算力?合成数据增加了供给,却又带来质量退化的问题。

数据配比决定的就是这些材料分别占用多少训练预算。提高某类样本的采样权重,能让模型更频繁地接触它,却也挤占其他任务的学习机会。高质量数据该重复多少遍、何时加入更难的任务,都需要结合训练阶段和模型规模判断。材料本身很好,也不保证放进当前配方就一定有效。

Hy4 的模型卡里有一行可以参考的小字。基础模型在中期训练阶段接触大量合成指令数据后,在少量示例的测试中,偶尔会偏离规定的作答格式,影响分数。AMA 里,团队解释,引入这些数据是为了改善智能体能力。

同一批数据可能帮助模型完成真实任务,同时改变它接受测试的方式。分数变了,研究员还得分清是解题能力发生了变化还是交答案的格式发生了变化。单看最后一个数字,容易把两者混在一起。

这也是姚顺雨对刷榜的警惕的来源之一,今天评测的价值在于发现自己还不知道的短板,围绕测试题反复优化反而会逐渐耗尽它提供新信息的能力。一个用来认识模型的工具最后可能只剩下对外证明模型的用途。

对追赶中的团队这种失真尤其昂贵。榜单让管理者相信差距已经弥合,真实任务中的缺陷却仍在,这样下去,有限的算力就可能继续投入错误的方向。

AMA 中,被问到为什么没有公布某些常见基准时,混元团队回答,这些基准较早、分数已趋于饱和,因此更重视 Agents' Last Exam、ProgramBench 等新高难度基准。

姚顺雨在清华还谈到一个技术判断,大模型后训练中,策略梯度及其变体仍然重要,一个原因是引入的额外假设相对少,更容易扩展。这延续了他的所谓规模观,一种方法的价值要放到它能否在大规模训练中持续生效上看。

策略梯度的大意是让模型尝试不同回答或行动,再根据奖励调整生成这些行为的概率。以他谈到的 GRPO 为例,同一个问题会采样出一组回答,用组内奖励作比较基准,估计哪些回答更值得强化,省去另训一个价值模型的负担。 算法的基本形式可以很简洁,实际系统仍需要大量工程工作。

训练既要调用模型生成尝试,也要运行工具、等待环境反馈,再用这些结果更新参数。任务越长,一次采样越贵;不同任务完成时间不一,也会增加资源调度的难度。提高 GPU 吞吐、让更多尝试有效地产生反馈,直接影响同一预算下能做多少轮学习。

具体到 Agent,奖励还得落到执行细节上。AMA 里,有人问,模型编造一个命令参数就可能让整个流程失败,强化学习怎么解决?团队说,会加入模型容易犯错的高难度案例,并对关键细节的错误施加更重惩罚。同时,他们持续扩展强化学习训练使用的上下文长度,专门改善上下文压缩能力。

扔掉高难度基准的进步都不能替这些工作。

4 组织进化,关键也在于设计奖励

而以上这些技术主张最后都会碰到组织问题。

一个架构设计,在研究员的小实验里有效,未必适合大规模服务;一个训练方法,在论文里新颖,也可能让基础设施变得更脆弱。要把模型训出来再交付出去,局部最优之间经常需要有人让步。

在清华的分享里姚顺雨谈到自己看重的团队特质时,强调了 Low ego、Co-design 和 Solid。

不过度自负,能够跨环节协同,并且把细节做扎实。这些词听上去像一般性的管理要求,关键在观察混元的具体选择里有没有对应的信号。

比如,做注意力机制的人需要考虑推理 GPU 会不会遇到瓶颈,做小模型的人需要知道用户的机器有多少带宽,做后训练的人则要接受一个现实:更长的思考带来能力收益,也可能损害产品体验。每个环节都得理解别人的约束。

Solid 对应的工作,往往又最难被漂亮的指标记录。姚顺雨举了个排查异常重复数据、追查下游调用参数设置的例子。这类问题不一定带来某个榜单的跃升,却会让团队此前以为可靠的实验结果需要重新检查。

如果组织只奖励参数更大、分数更高、算力利用率更好看,这些工作就很容易吃亏。修复正确性问题的人,可能花了两周才证明,大家此前测到的一个好结果其实不成立。他必须能因揭示问题而获得信任,团队才能持续纠错。

这也是姚顺雨强调判断力时一个容易被忽略的前提。管理者要懂得足够多,才能识别那些暂时无法变成漂亮数字的进展。把指标往下分解、让团队内部竞争,并不能替代这种理解。

从两场分享呈现出的优先次序看,混元当前更重视在已有方向上集中资源,把架构、数据、训练系统与产品接好。对于需要尽快提升整体能力的追赶者,这种工程收敛有很强的现实理由。

不过,它也留下一个需要继续观察的问题。姚顺雨谈到的 OpenAI 经验里,重要的新方向曾从小团队的探索中长出来。当一支队伍擅长把已知路线做扎实之后,还能给多大空间,让一项暂时解释不清价值的研究继续进行?

工程收敛可以缩短沿已知路线追赶的时间。混元如果要持续接近前沿,还得给可能改变路线的工作留下资源。而这些都会涉及到实打实的 " 抢卡抢人 ",作为话事人的姚顺雨做出的安排会深刻影响最终的竞争结果。

5 最终也是腾讯的取舍

既然实验昂贵、人也稀缺,能不能让模型自己来做?

RSI(递归自我改进)最近很热。AMA 里有人问,让 Hy4 自主运行,能不能靠 RSI 做出下一代模型。混元的回答是,相关能力仍处于早期,团队已经开发若干内部基准,评估其中的关键能力。谈到后续计划,他们透露正在开发 Hyra 3.0。

这与姚顺雨在清华的表达相互呼应。他认为应当回到具体工程问题,让模型参与数据合成、实验验证和代码重构。研发自动化可以带来实际收益,但要证明递归自我改进,还需要说明,这一轮获得的提升,怎样使下一轮改进也变得更有效,并且能够持续验证。

混元已经展示了 Hy4 配合 Hyra 2.0 改进小模型训练基础设施的尝试。但从一次有收益的实验,到可以反复运转的自我改进过程,中间仍有许多环节要证明。

被问到多轮强化学习中最难解决的问题,团队说,是环境设计漏洞带来的奖励投机。例如,要防着智能体直接上网搜答案,绕过原本要考查的解题过程。发现前沿模型的各种钻空子办法后,团队需要反复修正环境,以及出站网络的允许列表和阻止列表。

当模型参与研发,这种问题会变得更棘手。它修改的可能恰好包括实验代码、评测流程与数据处理。研究员必须分清,结果提高来自真实能力进步,还是衡量结果的方式被悄悄改变。

这使 " 判断力 " 与 " 验证 " 再次连到一起。模型能更快提出方案、更快写代码,实验室仍然需要维护可信的尺度,决定哪些结果可以用于下一轮训练。自动化越深入,验证过程一旦失真,错误就越容易被快速放大。

安全问题同样来自这种执行能力。会写代码、会用工具的模型,可以帮助防守,也可能被用来攻击。混元在 AMA 中表示,网络安全训练侧重防御、漏洞分析和修复,排除以漏洞利用和进攻为主的数据,同时开展红队评估。但面对开发者关于防御任务被误拒的追问,他们也承认,减少过度拒绝仍是需要改进的方向。

对一个选择开放权重的团队,这是很难一次解决的取舍。既要控制滥用风险,也要让合法使用者能够完成工作。数据过滤、拒答训练和发布前评测,各自能覆盖多少风险,需要持续检查。把安全纳入研发过程,才有可能让模型能力增长后仍能稳定交付。

姚顺雨在清华谈到,实验室里的技术进步通常平滑、连续,公众感受到的跳变,却往往发生在交互方式改变,或某项能力跨过实用门槛的时候。损失函数降了一点、评测分数涨了几分,用户未必能感知;能把一项此前做不了的工作完整交出去,才会改变使用习惯。

这能解释混元为什么同时谈难题和日常任务。研究级数学、长程编程,需要继续提高能力上限;文档解析、表格处理、客户聊天,则要让已经达到的能力以合适的成本被反复使用。大模型和小模型之间,还需要产品把任务安排好。

腾讯在这方面也有现成的机会。它拥有办公、开发、社交等不同产品,也有 WorkBuddy 这样承接复杂任务的应用。管理层在业绩会上明确提到,把混元部署进产品,可以获得高价值用户反馈,继续共同改进模型与产品。

但有入口并不等于这些反馈自然就能改善模型。用户究竟因为什么失败,失败来自基础能力、工具接口还是产品设计,怎样把它转成下一轮训练中的有效任务,都需要专门处理。看似琐碎的数据工作最终都和腾讯的产品资源都直接相关。

所以,这些取舍是姚顺雨的取舍,也是混元的取舍,而归根到底,最终都是腾讯的取舍。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

腾讯 ai 清华 混元大模型
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…