要论最近最火的AI 视频生成模型，无疑就属字节豆包了。

也就是字节一口气亮出的PixelDance模型和Seaweed模型。

而且大家都说效果好，那这不就得亲自测试一波喽，而且是直接上难度的那种——

最近抖音里很多人都在模仿林黛玉哭泣，我们不妨用" 全字节系的 AI"来制作一支《红楼梦》的 MV。

然后啊，效果简直就是一个大写的万万没想到！话不多说，直接展示成果：

不论是生成的多人物、画面的质量，甚至是故事情节，豆包的视频可以说是相当有《红楼梦》那味儿了。

而也正如刚才提到的，打造这支 MV 背后的 AI，统统都是字节系。

现在我们就来一一拆解细节步骤。

第一步，用豆包查询《红楼梦》中的经典片段原文，作为生成图片的Prompt。

例如王熙凤出场的名场面，豆包给出了这样的答案：

第二步，我们直接用《红楼梦》中的原文片段，" 喂 " 给字节的即梦，让它先生成一幅画。

例如我们采用的 Prompt 是：

红楼梦，只见一群媳妇丫鬟围拥着一个人从后房门进来。这个人打扮与众姑娘不同，彩绣辉煌，恍若神妃仙子：头上戴着金丝八宝攒珠髻，绾着朝阳五凤挂珠钗；项上带着赤金盘螭璎珞圈；裙边系着豆绿宫绦，双衡比目玫瑰佩；身上穿着缕金百蝶穿花大红洋缎窄裉袄，外罩五彩刻丝石青银鼠褂；下着翡翠撒花洋绉裙。一双丹凤三角眼，两弯柳叶吊梢眉，身量苗条，体格风骚，粉面含春威不露，丹唇未启笑先闻。

所有生成的图片如下所示（左滑查看下一张图）：

第三步，将生成的图片丢给豆包 PixelDance 模型，再附上一句 Prompt，让它生成视频片段：

中间的女子开怀大笑，性情豪爽地往前走，旁边众人微笑慢慢低头并为这个女子让路。

（当然，也可以继续用《红楼梦》的原文作为 Prompt。）

采用相同的方法，逐个生成其它视频的片段。

再例如下面这个片段，Prompt 是这样的：

右边女生默默哭泣，抬手捂住嘴。镜头切换，特写女生的脸，眼睛里留下眼泪。镜头切换，近景，左边人物痴痴看向女生，眼神中满是怜爱。

第四步，用基于豆包音乐模型的海绵音乐，生成 1 分钟的视频BGM，而且 Prompt 极其简单：

红楼梦，悲伤，大气。

一曲《梦断红楼殇》就诞生了：

第五步，将最终的 6 个视频和 BGM 统统导入字节的剪映，对视频做一个剪辑，就大功告成了！

不难看出，现在已经是人人都可以打造 MV 了，并且步骤和方法也相当简单，只需联动一下字节系的 AI 们：

豆包（豆包语言模型）、即梦（豆包文生图模型）、豆包视频生成模型 PixelDance、海绵音乐（豆包音乐模型）、剪映。

而在整个过程中，视频生成，无疑是最为关键的步骤。

但有一说一，AI 版《红楼梦》中的视频片段，还并没有完全展现豆包 PixelDance 模型的全部真实实力。

视频生成，已经步入影视级

这次豆包在发布视频模型之际，把它的能力归结为了四个点：

精准的语义理解，多动作多主体交互

强大动态和炫酷运镜并存

一致性多镜头生成

多风格多比例兼容

或许光看文字不能很直观地感受，接下来我们就一一对这四个特点做深入解读。

精准的语义理解，多动作多主体交互

若是纵览目前市面上的视频模型，其实大多数产品只能完成简单指令单一动作，而豆包 PixelDance 模型可以说是把 AI 对于 Prompt 的理解能力拉上一个高度。

不仅如此，豆包 PixelDance 模型还能把故事延展开来（时序性多拍动作指令），以及哪怕参考图片中没有的人物，也可以通过语言的方式生成。

例如下面这段 Prompt：

小朋友笑着笑着就哭了，镜头缓缓拉远，他的母亲走过来安慰他。

最初的图像仅有小朋友的脸，但生成的视频很好的满足了 Prompt 中的所有要求。

再如：

特写一个中国女人的面部。她有些生气地戴上了一副墨镜，一个中国男人从画面右侧走进来抱住了她。

由此可见，不论 Prompt 多复杂，豆包 PixelDance 模型是可以 hold 住的。

强大动态和炫酷运镜并存

复杂的动态和运镜，也一直是视频生成的难点之一。

这是因为真实的动态往往涉及到对物理规律的准确模拟，在复杂动态场景中，多个物体的相互作用会使物理模拟变得极为复杂。

对于人物的动作，还需要模拟人体的关节运动和肌肉变形。

复杂的动态和运镜通常会带来光影的变化，而准确地计算光影效果是一项艰巨的任务。光线的传播、反射、折射等现象都需要进行精确的模拟。

动态场景中的光源也可能是变化的，如太阳的位置随时间变化、灯光的闪烁等。这就需要实时计算光线的强度、颜色和方向，以确保画面的光影效果真实自然。

而这些种种的挑战到了豆包 PixelDance 模型这里，似乎就不再是难事。

例如在下面这个视频中，男子在冲浪的过程被生成的可谓是相当逼真，就连浪花、光影、人的动作、发丝等等，都与现实非常贴近：

再如下面这个快速穿越自然的场景，光影的交错、物理的规律都拿捏的非常精准，宛如科幻大片的片段：

一致性多镜头生成

一致性和多镜头，同样也是此前 AI 视频生成被人们诟病的一点，甚至人类都开始模仿起了 AI 们的鬼畜。

例如本来上一个画面还是人物 A，下一个画面就变成了人物 B，甚至连性别和物种都有可能被篡改……

那么豆包 PixelDance 模型的表现又是如何呢？我们直接来看效果：

第一个画面是小女孩面对死神，镜头一转给到女孩的时候，豆包 PixelDance 模型生成的内容不论是发型还是着装等细节，都保持了一致。

即使面对更加复杂的场景、镜头切换，也是没有问题：

多风格多比例兼容

当然，风格的多变，是每个视频生成模型的 " 必修课 "，豆包 PixelDance 模型也是如此。

例如黑白大片风：

再如日漫风格：

而且从这两个例子中，我们也不难发现豆包 PixelDance 模型对于生成视频的比例也是可控的。

更具体而言，豆包 PixelDance 模型支持包括黑白，3D 动画、2D 动画、国画、水彩、水粉等多种风格；包含 1:1，3:4，4:3，16:9，9:16，21:9 六个比例。

嗯，是一个多变且较为全能的选手了。

那么接下来的一个问题是：如何做到的？

对于豆包视频模型的能力，在发布会上，针对刚才我们所展示的前三项能力，分别对应的技术是这样的：

高效的 DiT 融合计算单元、全新设计的扩散模型训练方法，以及深度优化的 Transforemer 架构，便是 " 炼 " 出豆包 PixelDanca 模型背后的三大技术杀手锏了。

不过对于各个视频生成产品的效果，" 什么样的才算好？是否有什么标准？"这一问题，在量子位与火山引擎总裁谭待交流过程中，他表示：

视频生成并不像语音生成一样，有非常标准且综合性的 Benchmark 等。但整体来看也有几点内容可以作为判断标准。

一是对复杂指令遵循，这就非常考验视频模型对语义的理解能力，从豆包 PixelDance 模型的效果来看，是符合这一点要求的。

二是多镜头切换和保证一致性，这也是保证视频最终效果的重要因素。

而纵观整场豆包的发布会，视频模型也只是新发布的动作之一。

不只有视频模型

除了豆包视频模型之外，这次字节还发布了 2 个重磅产品。

首先就是豆包音乐模型。

正如我们给 AI《红楼梦》做 BGM 时所演示的那般，生成歌曲，Prompt 只需简单的几个字就可以，只要关键字到位，那么歌曲的情感也能精准拿捏。

除此之外，豆包音乐模型还提供了 10 余种不同的音乐风格和情绪的表达，人声也几乎与人类无异。

其次就是豆包同声传译模型。

这个模型的效果可以说是媲美人类的同传了，可以边说边翻译，实时沟通完全没有障碍；而且在翻译的准确性和人声自然度方面也是更上一层楼，可以很好的应用在各种需要同传的场景。

最后，豆包通用模型的能力，这次也得到了大幅的提升：

至此，字节的豆包大模型家族就变得更加壮大了起来，可以一起来看下现在的全景图：

然而，阵容的庞大还是只是一面，更重要的是，豆包家族的模型们是已经被广泛地使用了。

据了解，截至到 9 月，豆包大模型的日均 tokens 使用量已经超过 1.3 万亿，4 个月的时间里 tokens 整体增长超过了 10 倍。在多模态方面，豆包 · 文生图模型日均生成图片 5000 万张，此外，豆包目前日均处理语音 85 万小时。

这组数据也从侧面反映出了模型的效果，毕竟只有好用才能会被大众所接受；这也再次印证了豆包模型最初发布时所提出的那句" 只有最大的使用量，才能打磨出最好的大模型 "。

也可以视为豆包 " 左手使用量，右手多场景 " 的方式反复打磨后的一次正确的验证；而在验证过后，字节此次也亮出了他们在大模型上的发展之路，即先 To C，再 To B。

正如谭待所说：

只有在 To C 上把效果做到极致，我们才会让模型在 To B 领域去上岗。

不仅如此，随着大模型价格战的拉响，豆包模型的价格也是一降再降，由此也可以预见大模型发展的一种趋势——

成本已不会阻碍创新之路。

那么对于豆包模型接下来的发展，是值得期待一波了。

One More Thing：

说到" 全字节系 AI"，除了做 AI 版《红楼梦》MV 的工具全是字节产品之外，这篇文章还是在飞书里写的。

最后，一句土味 " 情话 "ending 本文：

字节大舞台，有 AI 你就来～

—  完  —

点这里关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~