就离谱？

GPT-6 Astra 刷到快满分的 ARC-AGI 3，一个手机能跑的 4B 小模型也能刷爆。

更准确地说，是 4B Qwen+753B GLM 5.2 的组合。

其中，GLM-5.2 待在云端，手机端只需运行 4B 的 Qwen-3.5。大模型全程不输出一个字，小模型负责把最终答案写出来。

具体技术细节尚未公开，背后团队 Mostik 拒绝在此刻披露，" 因为比赛还没结束 "。

但他们公开了核心发现：

AI 模型之间一直在用一种极其低效的方式交流。

Mostik 认为，他们搭了一座桥，让模型之间的信息传递效率提升了几个数量级。

按团队披露的实验结果，这套方案能让 4B 模型补上与 753B 模型之间约 50% 的性能差距，自身准确率提高 25%。在大小模型差距更明显的难题子集上，提升达到 2 倍。

而大模型侧的推理成本，被压到了原本约二十分之一。

Mostik 成立仅 4 个月，团队共 15 人，其中 12 名博士。

团队里还有一位菲尔兹奖得主—— 2010 年证明了统计物理中 " 渗流模型 " 和 " 平面 Ising 模型 " 的共形不变性的俄罗斯数学家 Stanislav Smirnov（斯坦尼斯拉夫 · 斯米尔诺夫）。

两兆字节与十七比特

大模型生成一个 token 的过程中，内部会构建超过一百个隐藏向量，总共包含大约一百万个数值，约两兆字节的内部状态信息。

然后，它从大约 15 万词的词表中挑出一个 token 输出。

17 个比特离开模型，两兆字节被丢弃，不会再被使用。

目前所有让多个模型协作的系统，包括编程子智能体、模型委员会、路由调度，全部建立在这 17 个比特之上。

模型之间唯一的沟通渠道就是文本。

那么被丢掉的两兆字节里到底装着什么？

近两年的可解释性研究给出了明确答案，是深层计算的核心内容。

一篇 ICLR 2026 发表的论文显示，Qwen-3 在写出 "accountant" 这个词之前好几个 token，内部就已经携带了这个词的表征，正是这个表征让模型提前选对了冠词 "an" 而非 "a"。

而且模型越大，这种提前规划的能力越强，内部状态中携带的 " 未说出口 " 的信息越多。

Anthropic 的可解释性团队在 Claude 3.5 Haiku 上也观察到了类似现象：模型写诗时，落笔之前就已经确定好了韵脚。

他们进一步发现了一种叫 "J-space" 的结构——模型在任意时刻都维护着一组未表达的概念，既不是输入的回声，也不是对下一个 token 的猜测，而是当前正在处理的信息。

Anthropic 团队自己总结道，这些测量揭示了从未出现在输出中的内部推理和反应。

这意味着，当一个模型为另一个模型写出一段文字时，丢失的不是格式信息，而是做出选择背后的深层计算过程。

给大模型和小模型架桥

用一句话概括 Mostik 做的事情：

让一个模型把自己的隐藏状态通过一个小型的、经过训练的桥（bridge），直接传递给另一个模型，接收方拿到这些内部状态后直接使用。

整个过程不产生任何文本，两个模型的权重完全冻结不动，桥是系统中唯一被训练的部分。

在公开演示中，他们选了智谱的 GLM-5.2（753B 参数）做发送方，阿里的 Qwen-3.5（4B 参数，可在手机端运行）做接收方。

大模型自始至终不生成任何文字，它只读取问题，隐藏状态穿过桥传递出去，然后停止。

所有文本生成都由小模型完成。

这里有一个关键的成本设计——

模型运行中，逐个生成 token 的 " 解码 " 环节最贵，而一次性读取整个输入的 " 预填充 " 环节便宜得多。

Mostik 的做法恰好让大模型只做预填充、不做解码，把最贵的活全交给小模型，算力开销因此大幅下降。

结果 4B 小模型在 " 桥 " 的加持下，弥补了它与 753B 大模型之间 50% 的性能差距，自身准确率提升 25%。

在更难的题目子集上，也就是大小模型之间差距更明显的地方，提升达到了 2 倍。

从算力角度换算，要在不用桥的情况下跑出同样的成绩，需要部署一个中等规模的模型，而桥方案的计算成本仅为这个中等模型的五分之二。

团队还把这套方案和其他标准的模型组合方法做了对比，包括传统的文本接力。

在所有测试的大模型算力水平上，桥方案都表现更好。

优势在 " 交接点极早 " 的情况下最明显，此时文本接力根本没有内容可传，因为大模型还没来得及写出任何文字，但隐藏状态中已经包含了模型在处理问题过程中积累的信息。

随着给大模型分配更多算力，两种方案的表现最终都会趋近大模型本身的水平，但桥方案在整个过程中的性能 - 算力权衡都更优。

值两个模型在实验中完全冻结。

GLM-5.2 和 Qwen-3.5 大家都熟悉，一个来自智谱，一个出自阿里，由不同团队、用不同数据训练而成，但它们的内部表征能通过一个桥完成有效的信息传递，而不需要对任何一方做微调。

Mostik 团队表示，他们刻意冻结双方来做严格测试，如果有用信息能在这种条件下通过，说明桥所利用的结构是模型训练过程中自然产生的。

Mostik 首席科学家、菲尔兹奖得主 Stanislav Smirnov 指出，在两个 AI 模型之间找到数学上的共同基础其实非常困难，" 目前似乎还没有合适的数学语言来描述这件事 "。

15 人团队，菲尔兹奖得主坐镇

Mostik 在俄语里意为 " 小桥 "。

这家公司成立仅 4 个月，团队共 15 人，其中 12 人为博士。

首席科学家 Stanislav Smirnov 是日内瓦大学教授，也是 2010 年菲尔兹奖得主。

Smirnov 认为，在两个 AI 模型之间找到可用的数学共同基础，其实极难。目前似乎还缺一套合适的数学语言，来描述模型表征究竟如何对应、如何迁移。

CEO Sasha Malysheva 则是这套核心方法的开发者之一。

她曾提到，自己最早发现数学天赋，源自她亲哥的一句 " 你解不出我准备数学奥赛的题 "。

公司内部还有个关于 AI 未来的比喻。

猜一头猪有多重时，一群普通人各自报数，取平均值，常常能得到比单个专家更接近真实值的结果——多个 AI 模型协作，也可能有类似潜力。

眼下的问题恰好出在协作成本太高，模型们要先把内部计算压缩成文字，再把文字重新展开成下一轮计算。

现在，Mostik 想跳过这道手续。

Malysheva 判断，未来未必由单一巨型模型包打天下。更有可能是让前沿模型与生物、物理等领域的专用模型高效配对。

" 桥 " 的下一步

连接已经训练好的模型只是第一步，Mostik 正探索两条后续路径。

其一是蒸馏。

传统蒸馏里，学生模型看到的多为教师模型最终输出层的信号。倘若 " 桥 " 能把教师的内部状态同步给学生，监督就能更早进入生成过程。

团队表示，早期结果显示，学生模型在相同训练预算下能更接近教师。

其二是专项化。

小模型带着桥训练某一专业领域能力时，学习效率更高，同时有机会保留原来的通用能力。若这一方向继续成立，给大模型增加新技能，或许不再总要重训整套系统。

团队还提到了安全上的可能性。链式思维能提供一部分监控线索，但部分异常行为仍可能绕开它。

桥在两个模型间增加了一个新的观察面，发送方隐藏状态、转换结果与接收方行为都可以被记录。

当然，这些方向仍在早期阶段。

桥是否能跨越更多模型、更多任务和真实业务负载，能否成为可靠的可观测性工具，都还得继续验证。

但至少在 ARC-AGI3 上，一座让大模型 " 闭嘴思考 "、再由小模型代为表达的小桥，已经刷出了相当离谱的成绩。

参考链接：

[ 1 ] https://mostik.ai/read-more

[ 2 ] https://x.com/aimalysheva/status/2095232794792255848?s=20

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见