快科技 5 月 15 日消息,5 月 14 日晚,阿里巴巴正式开源通义万相 Wan2.1-VACE,这是业界功能最全的视频生成与编辑模型,单一模型可同时支持文生视频、图像参考视频生成、视频重绘、视频局部编辑、视频背景延展以及视频时长延展等全系列基础生成和编辑能力。
本次共开源 1.3B 和 14B 两个版本,其中 1.3B 版本可在消费级显卡运行,开发者可在 GitHub、Huggingface 及魔搭社区下载体验。
据介绍,Wan2.1-VACE 支持全部主流输入形式,涵盖文本、图像、视频、Mask 和控制信号,可以实现角色一致性、布局、运动姿态和幅度等要素的控制。
例如,Wan2.1-VACE 可以基于物体参考图或者视频帧生成一段视频,也可以通过抹除、局部扩展等操作,对原有视频进行重新生成,该模型还可以通过深度图、光流、布局、灰度、线稿等控制信号对视频进行编辑。
Wan2.1-VACE 还支持任意基础能力的自由组合,用户无需针对特定功能训练一个新的专家模型,即可完成更复杂的任务,极大地扩展了 AI 视频生成的想象空间。
例如,将图片参考和主体重塑功能组合,可以实现视频的物体替换;将图片参考、首帧参考、背景扩展和时长延展功能,可以将一张竖版图片变成横版视频,并且在其中加入参考图片中的元素。
据悉,自今年 2 月以来,通义万相已先后开源文生视频模型、图生视频模型和首尾帧生视频模型,目前在开源社区的下载量已超 330 万,在 GitHub 上斩获超 1.1w star,是同期最受欢迎的视频生成模型。
登录后才可以发布评论哦
打开小程序可以发布评论哦