驱动之家 05-15
奥黛丽·赫本真令人倾心!阿里开源通义万相全能视频大模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 5 月 15 日消息,5 月 14 日晚,阿里巴巴正式开源通义万相 Wan2.1-VACE,这是业界功能最全的视频生成与编辑模型,单一模型可同时支持文生视频、图像参考视频生成、视频重绘、视频局部编辑、视频背景延展以及视频时长延展等全系列基础生成和编辑能力。

本次共开源 1.3B 和 14B 两个版本,其中 1.3B 版本可在消费级显卡运行,开发者可在 GitHub、Huggingface 及魔搭社区下载体验。

据介绍,Wan2.1-VACE 支持全部主流输入形式,涵盖文本、图像、视频、Mask 和控制信号,可以实现角色一致性、布局、运动姿态和幅度等要素的控制。

例如,Wan2.1-VACE 可以基于物体参考图或者视频帧生成一段视频,也可以通过抹除、局部扩展等操作,对原有视频进行重新生成,该模型还可以通过深度图、光流、布局、灰度、线稿等控制信号对视频进行编辑。

Wan2.1-VACE 还支持任意基础能力的自由组合,用户无需针对特定功能训练一个新的专家模型,即可完成更复杂的任务,极大地扩展了 AI 视频生成的想象空间。

例如,将图片参考和主体重塑功能组合,可以实现视频的物体替换;将图片参考、首帧参考、背景扩展和时长延展功能,可以将一张竖版图片变成横版视频,并且在其中加入参考图片中的元素。

据悉,自今年 2 月以来,通义万相已先后开源文生视频模型、图生视频模型和首尾帧生视频模型,目前在开源社区的下载量已超 330 万,在 GitHub 上斩获超 1.1w star,是同期最受欢迎的视频生成模型。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

开源 阿里巴巴 ai
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论