近日 , 文生视频赛道又出王炸新产品。" 老牌 "AI 视频玩家 Runway 推出了其最新力作—— Gen-3 Alpha, 与前一代 Gen-2 相比 , 这款新模型在细节丰富度、画面连贯性以及动作表现上都有了 " 显著的提升 "。

据 Runway 介绍 ,Gen-3 Alpha 经过了视频和图像的混合训练 , 继承了前一代在 2023 年 11 月发布时的功能 , 包括文本转视频、图像转视频、文本转图像等 , 同时还支持运动刷、高级相机控制和导演模式等多样化的控制方式。

从官方分享的视频来看 , 此次推出的 Gen-3 Alpha 在视频质量上有了显著提升 , 无论是难以把控的夜景灯光 , 还是景别的流畅切换 ,Gen-3 Alpha 都称得上尽善尽美。

更重要的是 , 据知情人士透露 ,Gen-3 Alpha 模型的生成速度非常之快。官方分享的演示视频普遍徘徊在 10 秒水平线上 , 而这 10 秒视频只需要 90 秒的时间就能快速生成 , 在业界保持了领先态势。Runway 官方表示 ,Gen-3 Alpha 将在未来几天内向所有人推出。

自今年初 Sora 正式开启文生视频热潮 , 海内外厂家纷纷开始加快步伐探索多模态内容生成领域。海外 ,Luma AI、Google 密集推出新品新技术 ; 国内则更注重本土素材训练及应用落地 ,AIGC 软件 A 股上市公司万兴科技 ( 300624.SZ ) 推出的国内首个音视频多媒体大模型万兴 " 天幕 " 效果瞩目、快手最新推出的视频大模型可灵也惊艳了不少用户。多模态生成领域已进入百花齐放的阶段。

其中 ,Luma AI 于前不久官宣推出文生视频 / 图生视频模型 Dream Machine, 能根据文本生成高质量逼真视频 , 引发大量用户关注。目前 ,Dream Machine 已免费向全球用户开放 API 试用 , 用户进入官网后用谷歌账号登录即可马上试用。每位用户每月可以免费生成 30 次视频 , 但每条视频的时长仅为 5 秒。如果需要生成更多视频 , 则需要订阅付费服务。该模型具有速度快、动作逼真等特点。

Google 也不甘示弱 , 宣布推出新的模型技术 Video-to-audio。和 ElevenLabs 推出的 AI 音效生成功能有异曲同工之妙 ,Video-to-audio 支持根据视频和文本提示词生成和视频匹配的音频 , 甚至可以与主体角色唇形同步。

国内方面 , 快手于近日推出文生视频大模型 " 可灵 ", 支持生成最长 2 分钟、30fps 的 1080P 视频 , 引发海内外 AI 圈关注。该模型在游戏开发、影视制作等领域有广泛应用 , 其背后涉及数据准备、模型架构、训练方案及优化策略等技术。不同于实验室的 Demo 或视频演示 , 可灵是快手推出的产品级应用 , 并已在快影 APP 中正式开启邀测。

此外值得关注的还有已开始探索应用落地的万兴 " 天幕 "。基于 20 年来对全球多媒体创作者的深刻理解 , 万兴科技重磅推出国内首个专注于数字创意领域的音视频多媒体大模型万兴 " 天幕 ", 为全球创作者提供从模型到应用场景的全链路创作支持。

万兴 " 天幕 " 当前已通过中央网信办备案 , 并已正式开放公测 , 具备近百项音视频原子能力 , 其中文生视频能实现不同风格、丰富场景及主题的连贯性 , 一键生成时长率先支持 60 秒 +。目前 , 万兴 " 天幕 " 众多能力已在旗下创意软件产品中规模化应用 , 其中 Wondershare Filmora 13 已集成大模型能力 , 落地 AI Copilot 智能剪辑助手、AI 文字快剪、AIGC 音乐生成等功能 ;AIGC" 真人 " 短视频营销神器万兴播爆已实现大模型中数字人能力的应用 , 并提供领先的 AI 视频翻译能力。

作为 AIGC 行业的领军企业 , 万兴科技当前业务已覆盖 200 多个国家和地区 , 全球累计用户超过 15 亿 , 月活跃用户近 1 亿 , 被视为 " 中国版 Adobe"。面向 AIGC 时代 , 万兴科技已推出多款 AIGC 创意新品 , 并持续推进旗下明星产品的 AI 化发展 , 旗下万兴喵影、Wondershare Filmora、Wondershare PDFelement 等均已集成 AIGC 能力。

此次 Runway 产品更新中 , 值得关注的是 ,Runway 宣布正在与一些娱乐和媒体机构携手合作 , 打造符合特定需求的 Gen-3 定制版本。

作为文生视频应用届的先驱者 ,Runway 此前曾为斩获奥斯卡金像奖的科幻电影《瞬息全宇宙》提供过技术支持 , 而 Gen-3 Alpha 模型的定制化能够实现更精准的风格控制和角色一致性 , 满足特定的艺术和叙事需求 , 也将进一步加速 Runway 与影视行业的合作落地。