多镜头视频是视觉叙事再正常不过的表达形式。

但在视频生成领域中，其高质量实现颇具挑战。

与单镜头视频不同，多镜头视频并不是简单地把几个片段拼接起来，而是要求模型同时处理两类信息：一类需要在不同镜头之间保持稳定，例如人物身份、环境主体和故事主线；另一类则需要随着叙事自然变化，例如视角切换、动作推进和场景转场。

这一任务通常可以定义为：给定每个 shot 的 prompt，以及一个可选的初始图像作为首帧条件，模型需要生成多个 shot，并维持跨 shot 的内容一致性和对每个 shot prompt 的准确遵循。

这意味着，模型必须能够持续维护长程的跨镜头上下文。然而，现有方法大致存在两类局限：一类方法依赖固定窗口，在窗口内同时生成多个 shot，但随着窗口滑动，较早镜头的信息会被丢弃；另一类方法则仅依赖单张关键帧作为条件，难以有效传递 shot 内更复杂的叙事细节。

最近，来自Meta 与 University of Copenhagen的研究者提出了 OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory（收录于 CVPR 2026）。这项工作聚焦于一个核心问题：如何在生成多镜头视频时，有效保留长程跨镜头上下文，从而实现更强的叙事一致性。其核心思路，是为多镜头视频生成建立一种全局但紧凑的跨镜头记忆机制。

OneStory 可生成分钟级、十镜头的长视频故事，在复杂叙事推进过程中保持人物与场景的一致性；同时支持 image-to-multi-shot 与 text-to-multi-shot 两种生成设置，并在 out-of-domain 场景中展现出良好的泛化能力。

OneStory 做了什么？

OneStory 首先将多镜头视频生成重新表述为一个更自然的问题：next-shot generation。也就是说，模型不再一次性生成整段长视频，而是像讲故事一样，基于前面已经生成的镜头，生成下一个镜头（每个镜头同时生成）。这样的设定实现了shot-by-shot 的自回归式多镜头生成。

△  OneStory 的训练与推理流程示意图。训练阶段，模型以前两个 shot 为条件生成第三个 shot；推理阶段，模型根据输入 caption 按 shot-by-shot 的方式逐步生成多镜头视频。

与此同时，OneStory 以预训练的 image-to-video 基础模型作为初始化，因此可以自然继承基础模型本身强大的视觉条件生成能力。通过这样的任务重构，OneStory 的第一个 shot 可以通过使用任何 text-to-video 或 image-to-video 模型得到，而后续 shot 则由 OneStory 根据输入的 shot prompt 逐步生成。

也正因如此，OneStory 能够在同一个模型中统一支持text-to-multi-shot video 和 image-to-multi-shot video两种生成方式。

在此基础上，OneStory 设计了两个关键模块。

△  OneStory 中 Frame Selection 和 Adaptive Conditioner 的结构示意图。Frame Selection 和 Adaptive Conditioner 两者共同实现了自适应记忆建模，从而支持全局但紧凑的跨镜头上下文表示，用于连贯的叙事生成。1. Frame Selection：找到真正相关的历史 memory

并不是所有前序镜头对当前镜头的生成都同等重要。

例如，第 1 个镜头中出现主角，第 2 个镜头切换到配角，第 3 个镜头又回到主角。那么在生成第 3 个镜头时，第 1 个镜头往往比第 2 个镜头更关键。基于这种跨镜头相关性不均等的现象，OneStory 引入了Frame Selection模块，从所有历史镜头中自动挑选出与当前镜头 prompt 在语义上最相关的一些帧，作为当前 shot 生成时的 memory。

这一设计不仅避免了固定窗口滑动带来的遗忘问题，也使模型能够真正构建起全局的跨镜头上下文。

2. Adaptive Conditioner：把 memory 压缩成高效条件信息

仅仅 " 记住 " 还不够，如何高效地将这些历史信息输入生成器同样关键。

△自适应 patchification。与以往方法按时间顺序机械分配 patchifier 不同，Adaptive Conditioner 根据内容相关性动态分配不同粒度的 patchifier，从而更高效地利用跨镜头记忆。

OneStory 的Adaptive Conditioner会根据 Frame Selection 模块预测的重要性，对选中的历史帧进行自适应 patchification：更重要的信息保留更细粒度的表示，不那么关键的信息则被更强地压缩。这样一来，模型就在计算成本可控的前提下，将历史上下文转化为紧凑而有效的条件信号，并直接注入生成过程。

△  多 shot 视频数据收集流程

此外，论文没有沿用 " 整段故事需要一个总脚本，再辅以分镜头定义 " 的数据构建方式，而是仅保留分镜头 prompt，并将每个镜头写成带有前文指代关系的描述。这样的数据形式更贴近真实的故事讲述逻辑，也让镜头之间能够形成更自然的叙事流。

实验结果

△  定性比较结果。OneStory 能够更忠实地遵循 shot-level captions，生成在内容和叙事上更加连贯的多镜头视频。

各实验表明，OneStory 能够在复杂提示不断变化的情况下持续推进叙事，同时保持人物和环境的一致性。论文中也提供了对 OneStory 在复杂叙事场景中的表现分析，包括：

外观变化下的人物一致性保持

从大全景到局部特写时的空间定位能力

人与物体交互发展过程中的叙事延续能力

这些现象说明，OneStory 学到的并不只是表层的视觉连续性，而更接近于一种跨镜头叙事理解能力。

OneStory 的意义是什么？

如果说单镜头视频生成解决的是 " 把一段画面做出来 "，那么多镜头视频生成真正要解决的，就是 " 把一个故事讲下去 "。

OneStory 给出的答案是：不是一味拉长上下文窗口，也不是依赖单张关键帧，而是通过自适应记忆建模，在全局信息建模能力和计算效率之间找到平衡。它让模型在跨镜头生成时，既能够记住过去，又不会被冗余信息淹没。

对于长视频生成和可控世界模型而言，这是一条非常值得关注的方向，因为 OneStory 为视频模型提供了一种有效的自适应 memory 管理机制，也为更长时程、更高一致性的视频生成打开了新的可能。

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生 

感兴趣的小伙伴欢迎关注  了解详情

点亮星标

科技前沿进展每日见