量子位 09-04
字节开源图像生成“六边形战士”,一个模型搞定人物/主体/风格保持
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

图像生成中的多指标一致性问题,被字节团队解决了!

字节 UXO 团队设计并开源了统一框架 USO,让看上去不关联的任务相互促进,实现风格迁移和主体保持单任务和组合任务的 SOTA。

USO 通过单一框架能统一之前那些看似孤立的任务包括主体、身份保持和风格化编辑,参考图风格迁移,同时保持主体和风格参考,甚至更抽象复杂的多风格迁移,是实打实的六边形战士。

网友们争相围观,甚至有人直接拿来和当前火爆的闭源模型对比,发现 USO 弥补了难以同时做好主体保持和风格迁移的短板。

一个模型搞定人物 / 主体 / 风格保持

通过单一模型且仅通过一张参考图,USO 就能搞定你想要的主体、人物或是风格。

比如说,以卡通人物为例,让他在街上驾驶小车:

又比如说,积木风格,让这个男人在咖啡厅看书:

或者前阵子大火的吉卜力风格,也可以通过参考风格实现,比如一个男孩站在巨大的猫前 "

或者抽象的材质参考,也能轻松处理,比如生成一个大厨在炒菜:

那么再大胆点,混合风格呢,比如生成一个男子:

或者同时参考人物 ID 和风格图片,然后让她抱着一只猫呢,可以看到最终结果在保留 ID 基础上完美还原扁平风格(设计党狂喜):

以上种种应用场景,USO 都能轻松处理,甚至画面质量不输一些商业大模型。

为了全面评估模型性能,团队首次设计了一个 USO-Bench,全面评估不同任务类型的性能,分别包括主体驱动,风格驱动以及主体风格混合驱动生成,并且对比了一众最新模型。

最终,UNO 在三大任务上都处于领先水平。

并且研究团队还进行了用户研究,结果显示,USO 在所有评估维度上都获得了较高评价,特别是主体一致性、风格一致性和画面质量上表现最为突出。

跨任务自解耦

USO 采用了一种 " 跨任务自解耦 " 的新范式,核心思想是让模型根据不同任务类型学习想要包含的特征,从而从根本上增强模型的学习能力。

在模型架构上,USO 以开源模型 FLUX.1 dev 为基础,设计了风格对齐训练以及内容 - 风格解耦训练:

首先将 SigLIP 提取的多层风格特征对齐到文本空间,使其成为一个具备风格迁移能力的模型;

随后引入 VAE 内容特征,基于三元组数据做风格 - 内容解耦训练。

此外研究团队首次提出了风格奖励学习(SRL)算法,这是一种为 Flow Matching 设计的带参考图的强化学习算法。

其奖励函数来自衡量风格一致性的奖励模型数学映射,配合预训练损失监督模型训练,最终进一步促进内容和风格的解耦。

另外作者也提到,强化学习的加入让模型在别的任务上也得到了性能提升,进一步验证跨任务对齐的有效性。

在数据方面,团队构建了一套跨任务数据合成框架,创新性地提出同时构建布局改变和布局保留的三元组数据。

通过训练 UNO 模型得到一个风格化和去风格化的专家模型,然后利用这两个专家模型生成大批量三元组数据,最后通过 VLM 过滤出用于训练 USO 的数据集。

更多细节请参考该方法的技术报告。

论文地址:https://arxiv.org/abs/2508.18966

项目主页:https://bytedance.github.io/USO/

代码仓库:https://github.com/bytedance/USO

HuggingFace 在线 demo:https://huggingface.co/spaces/bytedance-research/USO

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—    —

点亮星标

科技前沿进展每日见

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论