LLM 推理已经顶尖，精确计算却跟不上。

这局怎么破？

卡帕西点赞的解决方法来了，在大模型内部构建一台原生计算机。

新方法不搞外包那一套（不依赖任何外部工具），直接在 Transformer 权重里内嵌可执行程序。

并通过创新的 2 维注意力头设计，将大模型的推理效率提升至指数级。

能在普通 CPU 上实现每秒 3 万 +Token 的流式输出。

在 Transformer 内嵌原生计算机

咱都知道，当前最先进的大模型，拿下奥赛金牌已经不足为奇了。

甚至有些还能挑战人类还未解决的数学问题与科学问题。

但有一个始终无法回避的现实是，这些模型在需要多步骤、长上下文的精确计算任务中，仍然表现惨淡。

为了弥补这个短板，现在行业上有两种主流的解决方案。

一是工具调用，让模型生成脚本，由外部沙箱解释器执行后返回结果；

二是智能体调度，通过外部状态机拆分计算任务，循环调用模型处理上下文。

但这两种方式的本质，都是给模型开 " 外挂 "，把计算能力挂靠在外部。

标准 Transformer 的自回归解码，更是让这一问题雪上加霜——

每生成一个 Token，模型都要对全量历史序列进行注意力扫描，计算代价随序列长度线性增长，让长轨迹的精确计算不可行。

Percepta 团队的新研究，就跳出了外挂思路，直接让 Transformer 当计算机。

首先，他们在 Transformer 权重中实现了一套现代化 RAM 计算机与 WebAssembly 解释器。

WebAssembly 可以理解成一种特别快、特别稳定的底层机器指令，C、C++ 这些编程语言写完的代码，都能编译成它。

有了这个解释器意味着任意标准化的程序代码，都能被编译为模型可识别的 Token 指令序列。

比如，要计算 3+5，模型会先这样写：

然后切换到快速解码模式，在 Transformer 内部一步步把这段程序跑完，同时把执行过程按行输出成一串标记：

计算结果直接在模型的 Token 输出流中生成，不需要再等外部工具返回结果，而且全程透明。

这种透明性，也让模型的计算过程从黑箱（外部依赖）变成白盒，实现了计算的可验证性。

内置计算机有了，怎么提高效率呢？

对这个问题，团队进行了2 维注意力头的创新设计。

在 2 维注意力头的设计中，每个历史 Token 的 Key 向量都是二维的，当前步骤的 Query 向量则可视为二维平面上的一个方向。

此时，注意力查询的核心问题找到与 Query 最匹配的 Key，就转化为了计算几何中的凸包极值查询，也就是在二维平面的凸包上，找到沿 Query 方向最远的点。

借助凸包数据结构，模型可以在生成 Token 的过程中，动态维护历史 Key 的凸包，每一步的注意力查询只需在凸包上进行。

这让计算复杂度从 O ( n ) 降至 O ( log n ) 。

研究团队基于这一原理设计了HullKVCache。

该缓存在普通 CPU 上实现了 31037 Token/ 秒的吞吐量，完成约 9000 行指令序列仅需 1.3 秒，效率较传统 KV 缓存提升了近 200 倍。

而且，该设计完全基于标准 PyTorch Transformer，不需要定制内核或稀疏掩码，通过简单配置维度与注意力头数就能实现。

最难数独 100% 精确求解

团队选取了两个典型的长程精确计算任务来验证这套方法。

这两个实际任务是10 × 10 最小代价完美匹配和公认的世界最难数独 Arto Inkala。

在 10 × 10 最小代价完美匹配任务中，模型内部执行匈牙利算法，全程以自回归方式生成计算轨迹。

从行分配、Dijkstra 算法求解，到对偶变量更新、增广路径查找，每一步的计算过程与代价累积都清晰记录，最终精准求解出最优匹配方案。

整个过程在 CPU 上完成，Token 生成速度达到 33583 Token/ 秒，7301 行 / 秒的指令输出效率。

在数独求解过程中，针对仅有 21 个提示数的 Arto Inkala 数独，模型内部执行了一个完全正确的、编译后的数独求解器。

求解器先通过约束传播填充 21 个单元格，然后进入搜索阶段，逐个尝试可能的数字赋值，遇到矛盾立即回溯。

每一次尝试、验证、一致性检查、矛盾检测与回溯步骤都以可读的日志行和 Token 轨迹形式自回归生成并输出。

最终在 3 分钟内实现了 100% 精确求解。

这项工作由Christos Tzamos领衔，与 Percepta 其他研究者共同完成。

Christos Tzamos 是麻省理工博士，目前任雅典大学计算机科学副教授，同时是 Percepta 的创始研究员。

Percepta 是 General Catalyst 旗下的 AI 转型公司，团队成员包括来自 Meta FAIR、MIT、Google 等机构的人才。

参考链接：

[ 1 ] https://x.com/ChristosTzamos/status/2031845134577406426?s=20

[ 2 ] https://www.percepta.ai/blog/can-llms-be-computers

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

点亮星标

科技前沿进展每日见