甲子光年 前天
陈博远独家解读:物理AI推理引擎PhysisServe如何兼顾智能与高频输出
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

当物理 AI 模型不断变大,能否通过扩展算力,让它们跟上物理世界的节拍?

特邀作者|陈博远(逆矩阵创始人)

一个 330 亿参数的模型,连续产生结果的间隔,能比一个 13 亿参数的模型更短吗?

近日,逆矩阵与 vLLM、智源研究院、北京大学联合发布的物理 AI 推理系统 PhysisServe,给出了一组这样的实验结果:在各自充分并行的配置下,33B 参数的 MiniMax H3,其稳态输出间隔短于 1.3B 参数的 Wan2.1。

其中,MiniMax H3 在 200 张 GPU 上,每隔 4.083 毫秒完成一个 chunk(视频块),约每秒输出 245 个 chunk。按每个 chunk 对应 4 帧换算,等效帧吞吐接近每秒 1000 帧。

这个区别可以用生产线来理解:一件产品从进入工厂到完成,需要经过所有工序;但生产线填满后,可以每隔很短的时间就交付一件产品。PhysisServe 提升的,正是持续交付的频率。

这组结果指向一个值得关注的问题:当物理 AI 模型不断变大,能否通过扩展算力,让它们跟上物理世界的节拍?

技术博客:

https://physis-ai.com/blog/physisserve/en

开源地址:

https://github.com/Physis-AI/PhysisServe

1. 物理 AI 将会产生新的基座模型范式,

Physical AI Infra 是立身之本

PhysisServe 背后首先是一个关于物理 AI 的基础判断。

随着数据、模型规模与算力持续增长,物理世界也会像数字世界的大语言模型一样存在基座模型的 Scaling Law,而如何让超大规模参数量的模型持续、高频地交付预测或动作将成为核心问题。

近期社区爆火讨论的 GPT-6 Astra 操纵具身机器人的例子,给出一种物理 AI 的可能性——通用大语言模型结合工具链,确实可以完成简单的诸如拼接、摆放物体甚至绘画等机器人任务。

现在 LLM 推理效率,动辄每秒生成数百甚至上千 token,听起来很快。但这个数字描述的是连续输出时的吞吐,放到需要反复 " 观察—决策—执行 " 的交互场景里,真正卡脖子的不是模型一口气能吐多少字,而是它完成一轮闭环决策要花多久。

SE3 Labs 的实验提供了一个具体的参照 [ 3 ] ,GPT-6 Astra 在执行中持续观察并发出指令,控制 YAM 机械臂把红色 LEGO 放入盒子,20 次尝试成功 18 次,合计记录了 774 次模型调用和 79300 个输出 token。若每次推理对应一轮同步工具交互,则每条轨迹平均经历 38.7 轮、生成 3965 个 token。

Agentic 控制模式下,通用语言模型每做一次决策、发一条指令,这个过程要花多久?

参考一下当前第三方测试的最先进水平:SemiAnalysis 对 Qwen3.5 397B 的测算 [ 4 ] 显示,即便是这样一个百 B 级的稀疏模型,在最优硬件与推理优化配置下,单用户有效生成速度也就在 700 tokens/s 量级。

Qwen3.5 397B 的交互速度与成本效率

沿用这一平均生成量,假设 Astra 也能达到 Qwen3.5 397B [ 4 ] 的生成速率,则每轮仅生成就需约0.146 秒,对应约6.8Hz,即每秒约 7 轮高层交互。

我们把这个数字需要放在高层交互的层级上理解。6.8 Hz 是大模型 " 做一次决策、发一条指令 " 的频率,不是机械臂关节的控制频率——后者可以由独立的低层控制器完成,不必每一步都等大模型推理。

但问题在于:凡是需要大模型理解场景、规划动作、处理异常的高层环节,每一步都要等一串 token 逐一生成完毕。即便堆上顶级芯片并对推理基础设施做充分优化,逐 token 串行解码的依赖仍然存在,高层决策频率就此被卡在几赫兹量级。

而物理世界是流动的、延迟敏感的:当机器人需要根据视觉、力觉等传感器信号实时调整动作时,决策回路必须在足够短的时间内闭环。

这和数字世界是根本性的不同:对 LLM 而言,变慢通常只是为同一个回答多等一会儿;对物理智能体而言,延迟可能使动作在执行前就已过时,模型再强也无法保证安全、流畅的交互。

面对这个约束,一种直觉的做法是把模型做小,以换取更快的推理速度。

但我们认为这条路长期走不通。物理世界的信息只会越来越丰富:当前模型主要接收视觉观测,未来必然要引入力觉、温度、接触等更多模态。模型要理解和融合这些越来越复杂的输入,规模就不能一直停留在几十亿参数的水平。

因此,物理智能体对模型的要求是双重的:既要足够大的模型来准确理解与预测物理世界,又要足够快的输出以跟上物理过程与执行器的节拍。

针对这个问题,我们团队的回答是:最终的出路不是把模型做小,而是从架构和系统层面让模型能更密集、更并行地产出动作预测。

" 智能密度定律 "(Densing Law) [ 1 ] 指向同一方向:随着数据量、模态数和任务复杂度增长,单位参数能承载的智能密度有上限,模型参数规模最终必须随之扩张;没有更高效的计算架构,物理AI的能力增长迟早会撞上延迟的墙。

Scaling law 本身并不绑定特定架构或算法。在 LLM 领域,无论是各种 Transformer 注意力变体,还是基于 RNN 架构的 RWKV、基于扩散机制的 LLaDA 等路线,持续扩大数据、参数与算力都能带来可预测的能力提升;架构决定的是扩展效率、推理成本和延迟表现,而不是 " 能不能 scaling" 这件事本身。

这意味着,物理AI完全可以也必须去探索一种新的模型架构:它不牺牲参数规模带来的能力增长,同时从根本上摆脱逐 token 串行解码的延迟瓶颈。

LLM 领域已经出现 DSpark [ 1 ] 、DFlash [ 2 ] 等工作,通过草稿模型、块并行生成等方式尝试压缩串行解码的等待;对数字任务而言,这些更多是体验与成本层面的优化。对物理AI来说,高频实时交互的要求决定了并行生成不能只是事后加速,而需要在模型架构与推理系统设计之初就被纳入考量。

PhysisServe 所探索的自回归去噪流水线,正是围绕这一需求展开的系统设计,也是回答 " 如何让超大规模参数量的物理智能模型持续、高频地交付预测或动作 " 问题的关键一步。

在这一方向下,两个层面的协同同样值得探索。在系统层面,计算将围绕反应时间,在端、边、云之间重新分工。在芯片层面,留在本体里的计算需要更高效地使用能源,模型、芯片和本体的设计会更加紧密——计算放在哪里、数据怎样流动、哪些能力必须随时可用,将越来越需要共同决定。

2. 让相邻输出重叠推进

PhysisServe 面向采用自回归去噪的世界模型与世界动作模型:前者根据观测和动作预测后续环境,后者根据观测生成动作序列。它们以 chunk 为单位连续生成,每个 chunk 经过多次去噪形成结果。

技术报告在 ACWM 与 WAM 常用的五个 backbone 上对 PhysisServe 展开评估:Wan2.1 1.3B、Wan2.2 TI2V 5B、Wan2.1 14B、LTX-2.5 22B 与 MiniMax H3 33B。

图中的关键区别是等待关系。在常规逐 token 自回归中,下一个 token 依赖前一个 token 完成;在支持带噪历史的自回归去噪中,后一个 chunk 可以读取前一个 chunk 在对应阶段留下的带噪 KV cache,不必等其全部去噪完成。多个 chunk 因而能够交错推进。这一方式需要模型支持带噪历史条件,并可能需要后训练适配。

相邻 chunk 的计算可以重叠,缩短的是流水线稳定运行后的连续输出间隔

3.把完整计算拆成更细的流水线

PhysisServe 将 " 某个去噪步上的某个 Transformer block" 定义为一个 stage,同时沿去噪步与模型层两个维度拆分计算。图中 2 个去噪步、4 个 block 被展开为 8 个 stage,分别由 8 张 GPU 执行。每个 chunk 仍须走完整条路径,但不同 chunk 可以同时占据不同 stage。

MiniMax H3 33B 的实验采用 50 个 block、4 个去噪步,对应 200 个 stage;每个 stage 独占一张 GPU 时,实测稳态输出间隔为4.083 毫秒,约 245chunks/s。流水线填满后,输出节拍主要取决于最慢 stage 的计算与通信成本。因此,总参数量不能独自决定输出频率;代价是更多 GPU,以及仍需单独评估的新输入响应时间。

高亮的 C7 仍经过全部 stage;流水线填满后,连续结果以更短间隔完成。计时仅覆盖 DiT 去噪,不含 VAE 解码

4.让有限算力服务更多任务

实际部署未必追求极限频率。PhysisServe 让多个 stage 在不同时间片共享 GPU,并把同一 block 上已就绪、彼此无依赖的任务合批,摊薄权重加载与执行开销。进一步地,系统用虚拟 rank 封装一组 stage 及其 KV cache,让不同生成流共享 GPU 池。

图中显存槽位与计算时间共同约束任务放置。新流只有在整体可容纳且独立运行时能够满足目标输出间隔的条件下才被接纳;已有流保持原有放置。这样,零散的显存与计算余量有机会用于更多请求。

虚拟 rank 将逻辑计算阶段映射到物理 GPU,使时分复用与跨流合批成为可能

在固定 24 张 GPU、目标输出间隔为 1600 毫秒的另一组实验中,五个模型有四个的最大已验证并发路数提高至静态划分基线的约1.7~3.3 倍;Wan2.1 14B 则从 24 路降至 18 路,说明收益取决于可共享的资源余量。

让参数量足够大的模型智能跟上物理世界的节拍,PhysisServe 朝这一目标迈出了探索性的一步。

Reference:

[ 1 ] https://se3labs.ai/blog/agentic-vs-code-as-policy/

[ 2 ] https://inferencex.semianalysis.com/inference/qwen-3-5

[ 3 ] Xiao, C., Cai, J., Zhao, W. et al. Densing law of LLMs. Nat Mach Intell 7, 1823 – 1833 ( 2025 ) . https://doi.org/10.1038/s42256-025-01137-0

[ 4 ]   DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation

[ 5 ] DFlash: Block Diffusion for Flash Speculative Decoding

[ 6 ] https://mimo.xiaomi.com/blog/mimo-tilert-1000tps

(封面图来源:「甲子光年」设计,文中配图来源:逆矩阵)

END.

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 陈博 北京大学 物理 创始人
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论