旁边车道的车突然加塞，自车赶紧减速避让。
这段行车画面，不是行车记录仪拍的，而是 AI 生成的。
对自动驾驶来说，最难补齐的，是那些平时不常见、一旦发生却可能直接造成危险的瞬间。
现在，生成这类视频只需要一张照片，加上几条车辆轨迹就够了。前车怎么切进来、自车怎么减速避让，整个过程都符合物理规律，车和车之间不会互相 " 穿模 "。
△两辆车先后加塞，自车依次减速避让
这就是来自港科大（广州）团队的新工作Motion Forcing。
它的思路简单来说，就是先想清楚东西怎么动，再去画东西长什么样。
在 Waymo 真实驾驶数据上，它的动作连贯性和物理合理性两项指标都排第一，超过了Seedance 2.0和Wan 2.6这两款头部视频模型。
除了驾驶场景，它还能生成多米诺骨牌连环倒下、机械臂推动物体的视频，同样符合物理规律。模型代码和交互 Demo 均已开源。
△多米诺骨牌连环倒下
△机械臂推动物体画得像，还得开得对、控得准
现在的视频模型，画面越来越精致，可一到复杂场景就容易 " 露馅 "：车开着开着穿过了另一辆车，被挡住的车凭空消失，碰撞之后的反应也不对劲。
问题出在哪？
团队认为，是因为模型要同时操心两件事：东西怎么动（车开到哪、开多快、谁让着谁），东西长什么样（车身颜色、光影、路面纹理）。
对模型来说，把画面细节画好，比把物理规律搞对容易得多。两件事搅在一起，它自然会优先顾画面，把物理放到一边。还有一层容易混淆，摄像头装在自车上，画面里一辆车动了，可能是它自己在转向，也可能是他车和自车都在动。
已有的一些方法尝试先给一个粗略的运动方向，再让模型照着画。但几条稀疏的轨迹线和一整段高清视频之间差得太远，场景一复杂，模型要么不听指挥，要么物理出错。
Motion Forcing 的做法，是从两个维度解耦：先把 " 怎么动 " 和 " 长什么样 " 拆开，再把自车与他车控制分开，把生成拆成三层：点、形、貌。
就像画画：先打几个点定好位置，再勾出轮廓和前后关系，最后才上色。
放到 Motion Forcing 里，" 点 " 就是用户画的轨迹，" 形 " 是一段只有远近、没有颜色的深度视频，" 貌 " 才是最终的彩色视频。
这是生成的主线。主线之外，团队还加了两个关键设计：一个用在训练上，逼模型真正学会物理；一个用在输入上，告诉模型自车怎么开。下面一个个看。
△Motion Forcing 整体框架：点（轨迹）→形（深度视频）→貌（彩色视频）点：每辆车就是一个圆
每辆车被简化成一个圆：圆心代表它在哪，圆的大小代表它离镜头多远，越近越大。用户画的轨迹，就是这些圆怎么移动。
这样控制起来非常灵活：手画箭头、写一句指令，甚至直接调整某一时刻的速度，都能转成点的轨迹。
形：先理清谁在前、谁在后
接下来，模型先不画彩色画面，而是生成一段深度视频（一种灰度画面，每个像素表示离镜头有多远）。
深度视频里没有颜色和纹理，只有空间结构：谁在前、谁在后、谁挡住了谁、两车之间还有多远。碰撞、遮挡这些物理关系，在这一步就要先理顺。
貌：最后再上颜色
空间结构定下来之后，模型再以它为蓝本，补上颜色、光影和纹理，生成最终的视频。
值得一提的是，这两步用的是同一个模型。训练时，模型随机在 " 推结构 " 和 " 上颜色 " 两种任务之间切换，相当于一个模型同时学会了当 " 物理引擎 " 和 " 渲染器 "。
中间多了一层深度视频，还有个额外的好处：用户可以在上色之前先检查一遍，车的位置不对就挪一挪，再决定渲染。
盖住答案，逼它学物理
主线讲完，先看训练上的设计。光会照着轨迹画还不够。现实中，用户往往只画了开头几步，或者只画了其中几辆车。
于是团队在训练时故意 " 盖住答案 "：有时把轨迹的后半段遮掉，有时把某辆车的轨迹整条拿掉，但仍然要求模型生成完整、正确的深度视频。
想答对，模型就得自己学会惯性、遮挡这些物理规律：比如轨迹只画了前半段，模型就要根据车之前开多快，自己推出它后面会开到哪；被挡住的车，也不能凭空消失，等它重新露出来时，位置得对得上。
把镜头怎么动，直接 " 画 " 给模型看
再看输入上的设计。前面说的都是周围的车怎么动。可自车也在开，摄像头装在车上，整个画面会跟着转弯、前进。画面里一辆车位置变了，可能是它自己在动，也可能两辆车都动，所以除了周围车辆的轨迹，还得告诉模型自车要怎么开。
常见做法是把 " 转多少度、走多少米 " 这样一串数字喂给模型，但模型很难把这串数字准确对应到画面上。
Motion Forcing 换了个方式：先把第一帧的深度图，按照自车要走的路线 " 挪一挪 "，做成一段镜头运动的预览，再交给模型。
模型看到的不再是抽象的数字，而是每个像素该往哪移，转弯、加速、减速都控制得更准。这样，周围的车和自车就能各调各的。模型生成的视频就能做到，同一次加塞，自车可以换种方式减速；同一段自车行驶，前车也可以在不同的时机或角度切入。
画面不是最精致，但最讲物理
团队在 Waymo 的 100 段真实驾驶视频上做了测试，用了三把尺子：画面像不像真视频、动作连不连贯，以及符不符合物理。
结果很有意思。
Seedance 2.0 和 Wan 2.6 靠着海量数据预训练，画面这一项确实更好。
但一到动作和物理，局面就反过来了：Motion Forcing 的动作连贯性得分 205.2，明显好于 Wan 2.6 的 316.2 和 Seedance 2.0 的 345.6（越低越好）；物理合理性得分 33.2，也高于两者的 31.2 和 30.5。
换句话说，大模型画得更漂亮，Motion Forcing 开得更 " 对 "。而对自动驾驶仿真来说，后者往往更要紧。
△Waymo 数据集上的对比结果：Motion Forcing 在动作连贯性与物理合理性上均排名第一
不过团队也坦言，Motion Forcing 还有短板：行人、自行车特别密集的场景里，几个圆点很难描述那么多小目标的动作；多辆车严重重叠时，深度也可能分不清前后顺序。如果用户画的轨迹太离谱、不符合真实情况，生成结果同样会出错。
团队介绍
本论文的第一作者为许添硕，现于香港科技大学（广州）攻读博士学位。
通讯作者为 Ying-Cong Chen（陈颖聪）教授，来自香港科技大学（广州）/ 香港科技大学，是港科大（广州）人工智能学域助理教授，兼任计算机科学与工程系联署助理教授，此前曾在麻省理工学院担任博士后研究员。
目前，团队已开源代码、模型和交互 Demo：上传一张图，点选画面里的车，画出轨迹，就能生成视频。
论文链接：https://arxiv.org/abs/2603.10408
项目主页：https://tianshuo-xu.github.io/Motion-Forcing/
代码：https://github.com/Tianshuo-Xu/Motion-Forcing
模型：https://huggingface.co/TSXu/MotionForcing_driving
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目 / 主页链接，以及联系方式。
我们会 ( 尽量 ) 及时回复你 : )
点亮星标
科技前沿进展每日见
