7 月 6 日，腾讯混元 Hy3 正式版发布。

同一天，几乎没有人注意到另一件事：微信 AI 团队在 GitHub 上 quietly 放出了 Hidden Decoding at Scale 的正式论文，WeLM 技术博客同步更新。不仅如此，WeLM 的官方技术团队还开设了小红书账号，开始对外宣传 WeLM 的技术成果。

信号的导火索在几个月前。据《中国企业家》报道，2026 年腾讯年会上，微信高层公开表态，希望自己训练大模型，集团给予更多 GPU 支持。

在腾讯集团层面，混元是无可争议的「正规军」。前 OpenAI 研究员姚顺雨空降半年，AI Lab 被整体并入，数百亿研发投入押注于此。

但在这条主线之外，微信事业群也正在悄悄发力。它的名字叫 WeLM。

比 ChatGPT 还早的 " 微信造 "

WeLM 的诞生，比大多数人以为的要早得多。

2022 年 10 月，WeLM 的第一个版本悄然上线。彼时 OpenAI 的 GPT-3.5 尚未发布，ChatGPT 还要再等一个月才会引爆全球。

微信 AI 团队在技术博客里低调地放出了 10B 参数模型的论文，然后便归于沉寂。此后三年，外界几乎遗忘了这个项目。

真实的答案是：WeLM 一直在迭代，只是从未对外。

2026 年 1 月到 7 月，微信 AI 团队在 welm.weixin.qq.com 上发布了四篇技术博客，完整地向外界展示了 WeLM 团队的选择、路径和野心。

第一篇：《以适度资源构建高效稀疏 MoE 模型》（2026 年 1 月）

"WeChat AI 团队聚焦于构建极具成本效益的 MoE 模型，在不足 14T tokens 的语料上训练出了 80B-A3B MoE 模型，其性能在同量级乃至更大规模系统中均极具竞争力。"

这句话的关键词是 " 不足 14T tokens"。

要知道，同级别的模型训练通常消耗数十万亿 token。WeLM 团队用不到 industry average 三分之一的训练数据，做出了一个 80B 总参数、单次仅激活 3B 参数的稀疏模型。

论文详细介绍了 WeLM-V4 的完整架构：loss-free balance routing（无损均衡路由）、sigmoid gate 配合一个共享 expert、Grouped-Query Attention（GQA）与 partial RoPE、KNorm 稳定注意力 logit。其中最值得注意的两项原创设计是：

KV-Mirror 技术——允许浅层与深层之间共享 hidden states 以生成 KV activation，在 prefill 阶段显著降低推理成本。对微信这种长上下文场景（群聊记录、朋友圈动态）而言，这是决定性的工程优化。

Multi-Token Prediction（MTP）层——在模型最上层额外添加一层 MoE 作为 MTP 层，支持推理阶段的 speculative decoding（投机解码）。简单说，就是让模型一次猜多个 token，猜对了就批量通过，猜错了再逐个修正。这直接提升了小微在实际对话中的响应速度。

论文还展示了通过 Depth Up-Scaling（深度上扩展）技术获得的 130B 变体，将 80B 基座模型中间三分之一的层循环复制两次，仅经过少量追加训练，便在 GPQA-Bench（研究生级推理基准）上从 65.57 提升至 68.21，Web-MMLU 从 89.47 提升至 90.17。

第二篇：《初探 WeLM-258B MoE 模型后训练》（2026 年 1 月）

如果说第一篇讲的是 " 怎么练出一个模型 "，第二篇讲的是 " 怎么让它听话 "。

这篇论文以 WeLM-V3-258B-A22B 为例，披露了完整的后训练流程。整个流程分为冷启动阶段和强化学习训练阶段：先用高质量指令数据做 SFT，让模型学会遵循指令和生成连贯回复；再进入 RL 阶段，结合验证器、奖励模型和策略优化算法，进一步提升推理能力和有用性。

RL 训练中的稳定性是行业公认的大模型训练难点。WeLM 团队提出了两项关键技术：

推出校正（IcePop）——通过双向截断与动态掩码机制，校正训练与推理阶段的概率分布偏差，避免 RL 训练崩溃。

熵控制策略（Clip-Cov）——通过限制高协方差 token 的梯度更新，防止模型在 RL 训练中过早陷入 " 过度自信 " 状态，保留了持续探索的可能性。

最终，WeLM-258B 在多个评测上与 DeepSeek-V3.1 正面交手：MATH（61.2 vs 57.0）、代码评测 EvalPlus（73.9 vs 69.9）、多语言编程 MultiPL-E（73.4 vs 64.9）、LiveCodeBench（37.4 vs 26.4）——均超过 DeepSeek-V3.1。在中文评测上，CMMLU 91.0，C-SimpleQA 73.4，也处于同级别模型的第一梯队。

第三篇：《Hidden Decoding：在预训练中扩展序列长度》（2026 年 3 月）

这是四篇中最具原创性的工作，也是 WeLM 团队区别于行业主流路线的最鲜明标志。

问题的起点是这样的：随着 DeepSeek-R1 和 OpenAI o1/o3 的实践，" 让模型多思考一会儿 " ——即在推理阶段生成长思维链（CoT）——已被证明能极大提升模型质量。但这种显式推理有一个致命缺陷：它依赖自回归的串行生成，每次只能生成一个 token，带来了漫长的延迟。强制模型在离散的自然语言空间中 " 思考 "，对神经网络的内部复杂规划而言，本身就是一种低效的信息载体。

WeLM 团队的解决方案是 Hidden Decoding ——一种全新的 Scaling 范式。

核心思想极其巧妙：在不增加 Transformer 主体参数的前提下，复制多份 Vocab Embedding，将序列长度扩展 n 倍。每个 token 在单次前向传播中，获得 n 倍的有效计算量。模型在连续的潜空间中 " 思考 "，不是输出实际的文字 token，而是在 hidden states 层面完成推理过程，然后将思考结果 " 折叠 " 进最终的输出。

这与行业主流的 CoT 路线形成了微妙但关键的分歧：别人让模型 " 说出来 " 思考过程，WeLM 让模型 " 在心里想，用更高的计算密度换取更快的推理速度。

实验数据验证了这条路线的有效性。在 80B 规模上，从基线到 scale n=8 的渐进式扩展，BBH（大模型硬基准）从 87.5 提升至 90.6，MMLU 从 85.1 提升至 87.5，MATH 从 60.4 跃升至 71.7。最引人注目的是，模型在经过简单 SFT 后展现出了惊人的文学创作能力——当被要求 " 以汾河为题赋一篇陆机风格的骈文 " 时，WeLM-HD8 的输出让评测人员难以区分是 AI 生成还是人工作品。

这篇论文的代码和模型已在 Hugging Face 和 GitHub 上开源，基于 Qwen3-8B 的 Dense 模型可以直接用 SGLang 本地部署。

第四篇：《Hidden Decoding at Scale：面向前沿大模型的潜空间计算扩展》（2026 年 7 月）

这是最新的一篇，也是最重要的一篇。它回答了 Hidden Decoding 最大的质疑：这个方法能在小模型上 work，但能不能 scale 到真正 deployed 的大模型？

答案是能。

WeLM 团队将 Hidden Decoding 推进到了 100B+ MoE 的前沿规模，训练出 WeLM-HD4-80B 与 WeLM-HD4-617B（n=4），在完全对齐的对照实验中全面超过各自的自回归基线。这是首个在 100B+ MoE 规模上、通过继续预训练（CPT）实现的序列长度扩展——此前的深度循环或长度扩展方法从未触及这一规模。

关键的工程创新是 Stream-Factorized Attention。多数层只在同一条 stream 内做注意力、仅少数层跨 stream 混合，把扩展带来的注意力开销从 O ( n ² ) 降到接近线性。这使得 Hidden Decoding 在 100B+ MoE 上以可接受的训练与服务成本落地成为可能。

评测结果令人印象深刻。在 FrontierMath 上，WeLM-HD4-80B 相对基线提升 +3.2；在 PHYBench 上提升 +4.0；在 MathArena Apex 上提升 +3.7。论文还附带了一系列消融实验，验证了 KV 保留策略和注意力组合的有效性。

这篇论文的正式版本已发表在 GitHub Tencent/Sequential-Hidden-Decoding 上。值得注意的是，发表时间，2026 年 7 月 6 日，恰好是混元 Hy3 正式版发布的那一天。两个团队在腾讯大厦的同一周内，向外界展示了各自最硬的成果。

这不是巧合，这是一种表态。

赛马再现，但这次不一样

WeLM 与混元的并行，是腾讯内部一场微妙的双线作战。

在组织架构上，两者的分界线非常清晰：混元隶属技术工程事业群（TEG），由首席 AI 科学家姚顺雨统筹，向总裁刘炽平汇报；WeLM 隶属微信事业群（WXG），由周颢带队，向张小龙汇报。

两条汇报线互不交叉，两个团队各用各的算力、各建各的基础设施。

这不是腾讯第一次内部赛马。2010 年前后，手机 QQ 和微信同步攻坚，最终张小龙的广州团队做出了重塑腾讯基本盘的产品。

但当年的赛马和今天有本质区别：移动互联网时代比拼的是产品体验和迭代速度，试错成本可控；AI 大模型赛道高度依赖统一算力集群、人才储备与技术标准，两套体系并行意味着大量的资源重复消耗。

财新在一篇报道中披露了一个细节：WeLM 在腾讯缺 GPU 的情况下训练速度受限，微信事业群只得不断向集团申请新的卡资源。而同一时期，混元团队也在争夺同批次的算力。

高盛在一份研报中直指痛点：" 两套大模型体系并行引发资源重复投入担忧，两者能否实现协同、训练成本能否最终整合，目前仍是未知数。"

更微妙的信号在于模型的选用。小微暂时没有选择混元作为任何一层的主模型，而是采用了 "WeLM 主模型 +DeepSeek 兜底 " 的混合架构。这意味着，在腾讯最核心的流量阵地中，DeepSeek 才是那个被选中的外部力量。

这背后有商业原因，也有组织原因。

商业上，豆包已经用真金白银验证了免费的 toC 应用走不通。晚点 LatePost 此前报道，豆包日活超过 2 亿，每天总收入不到 100 万元，但推理算力消耗数以千万元计，收入和成本根本不在一个数量级。根据国联民生证券测算，仅维持豆包免费 C 端服务，单日综合成本就在 1.32 亿至 2.4 亿元之间。

微信月活 14 亿、日活超 10 亿。腾讯如果给微信全量用户上一个大参数模型跑推理，可能每天就要亏几个亿。

WeLM 的架构设计就是这道算术题的答案：80B 总参数保证能力上限，3B 激活参数压低单次推理成本。 每次用户提问，模型只动用不到 4% 的 " 脑细胞 "。这意味着 WeLM 不适合复杂推理，但发消息、点外卖、查记录这些高频轻量交互，绰绰有余。但小微的产品设计里留了一条清晰的 " 逃生通道 "：轻量交互走 WeLM，需要深度思考时切 DeepSeek，切混元也行。

组织上，微信事业群在腾讯内部向来以高度自治著称。" 微信的数据是红线中的红线。张小龙不会允许一个他无法完全掌控的模型去处理微信用户的对话内容。" 混元虽然是腾讯自研，但归属于 TEG，其训练数据的来源、模型权重的管理、推理服务的部署，都不在 WXG 的掌控范围内。而 WeLM 从训练到推理的全链路，完全由微信团队自己搭建。

这不是简单的技术选型，这是主权问题。

克制本身就是一种力量

理解 WeLM 为什么存在，必须回到张小龙。

微信上线 15 年，张小龙用一贯的产品哲学定义了这个产品：工具属性优先，用完即走，不制造信息焦虑，不主动打扰用户。这套理念在移动互联网时代被奉为圭臬，但在 AI 时代，它变成了一道枷锁。

AI 天生是 " 侵略性 " 的。它会主动推荐、主动提醒、主动介入对话。每一个主流 AI 产品都在想尽办法占据用户的注意力和时间。这与微信的产品基因截然相反。

小微的设计，处处可见这种张力。它被藏在主界面左上角。你可以找到它，但它不会主动找你。聊天窗口里，你必须点击 " 问小微 " 才能临时调用。它甚至不会主动读取群聊记录，除非你明确授权。

WeLM 的技术路线同样在回答同一个问题。它不做通用对话，不做创意写作，不做代码生成，这些混元和 DeepSeek 都能做得更好。当行业都在追捧万亿参数稠密模型时，WeLM 选择了一条看起来更 " 土 " 的路：MoE 小模型、低成本推理、针对微信场景做深度优化。

WeLM 只做一件事：理解微信生态内的用户意图，然后调度微信内的服务能力。

灰度测试印证了这条路的合理性。实测中，小微的生成速度极快，除小程序模拟操作外，其他内容生成几乎无需等待。一个代码生成工具可以让用户等十秒，但聊天界面不行。这是微信和 Codex 的本质区别。

总结朋友圈、调用小程序、发消息、查聊天记录，这些看似 " 不够 AI" 的功能，恰恰是 14 亿用户最高频的需求。

" 混元想做一个能回答宇宙终极问题的 AI，" 一位腾讯内部人士打了个比方，"WeLM 只想帮你点好一杯奶茶，然后让你该干嘛干嘛去。"

两条路线，一个终点

2026 年 7 月 6 日，腾讯正式发布混元 Hy3 正式版。同日，WeLM 技术博客也更新了一篇英文论文《Hidden Decoding at Scale》。

两个团队在同一周对外发声，这是不是巧合？

乐观的说法是，混元和 WeLM 正在形成互补。混元负责对外输出通用能力，WeLM 负责对内承载微信生态的专用场景。姚顺雨在上任后的一次内部讲话中提到，" 腾讯拥有大量真实场景，这些场景是模型迭代的磨刀石。" 微信当然是最大的那个磨刀石。

悲观的说法是，整合从未真正开始。WeLM 的团队、算力、数据体系仍然独立于混元之外。张小龙不会让一个 TEG 的负责人来决定微信 AI 的技术路线，就像马化腾不会让一个外部高管来决定微信的产品方向一样。

也许最终，WeLM 和混元不会合并成一个模型。但它们必须证明，自己是不可或缺的一部分。在腾讯的 AI 叙事里，没有谁是理所当然的主角。

而微信的 14 亿用户也不会容忍一个平庸的 AI 助手。

WeLM 用了四年时间证明自己不输于混元，接下来的问题更难回答：它是否足够优秀，来定义下一个十年的微信？

（来源：Z Finance）