近日，腾讯混元团队提出HY-SOAR （Self-Correction for Optimal Alignment and Refinement），一种面向扩散模型和流匹配模型的数据驱动后训练方法。

SOAR 不依赖奖励模型、不用偏好标注、不靠负样本，直接从训练数据中挖掘轨迹级纠正信号，让模型在去噪过程中学会自我反思和纠偏——为视觉生成模型的后训练提供了一条全新的路径。

后训练的核心瓶颈：不是数据不够好，而是数据没用够

扩散模型后训练的两条主流路径—— SFT 和 RL ——都在数据利用上存在明显的短板。

SFT 是只学 " 标准答案 "，不会 " 改错 "：

SFT 直接在高质量数据上做监督，但它只教模型处理 " 理想轨迹 "。真实数据前向加噪得到的标准中间状态。

问题在于，推理时模型走的是自己的轨迹，一旦早期去噪出现偏移，后续状态就进入了训练中从未见过的区域。数据中蕴含的 " 模型可能如何走偏、如何纠正 " 的信息，SFT 完全没有利用。

RL 则走了另一条弯路——把信息 " 压缩丢了 "：

先把高质量数据通过奖励模型转化为终端打分，再用这个稀疏信号去优化整条生成轨迹。这本质上是一次有损压缩——数据中丰富的轨迹级信息被压缩成了一个标量奖励，大量可用于纠正中间步骤的信号在转化中丢失。更糟的是，奖励信号的稀疏性还会导致信用分配困难和奖励作弊（reward hacking）。

旗舰模型 = 数据质量 × 数据利用率。当数据质量足够高时，瓶颈在于利用率。RL 在利用率上打了折扣，SOAR 的目标是把这个折扣拿回来。

△图 1：SFT 只在理想轨迹上训练，浪费了数据中的纠偏信息；RL 将数据压缩为稀疏终端奖励，利用率受限；SOAR 直接从数据中提取稠密的轨迹纠正信号 SOAR：让生成模型具备自我反思能力

大语言模型的进化路线是：预训练→ SFT → RLHF →自我反思 （以 o1/o3 为代表的 self-correction）。视觉生成模型正在走同样的路，而 SOAR 正是这条路上的关键一步。

SOAR 让扩散模型第一次具备了 " 在生成过程中审视并修正自身行为 " 的能力，它的工作逻辑很清晰：

对真实样本执行一步无梯度前向推理，模拟模型自身可能产生的偏离；

对偏离状态重加噪，构造辅助训练点；

以原始样本为锚点，计算解析的纠正目标。

整个过程不需要奖励模型、不需要偏好标注、不需要负样本——纠正信号完全从数据本身解析得到。

这使 SOAR 具备三个关键优势：

数据利用率最高：从同一份数据中同时提取 " 标准答案 " 和 " 纠偏信号 "，无需经过奖励模型的有损转换。

稠密信号：在去噪中间步骤即获得纠正监督，而非等到生成完成后才得到一个终端奖励。

在线学习 *（on-policy）*：偏离状态来自当前模型自身的推理，训练分布随模型更新而自适应变化。

这不再只是一个训练技巧的改进，而是生成模型从 " 被动执行指令 " 走向 " 主动审视和纠正自身行为 "的范式跃迁。

△图 2：SOAR 训练总览——从在轨状态出发模拟偏离，构造多尺度离轨辅助点，计算解析纠正目标实测效果：无奖励模型，打赢 RL 方法

基于 SD3.5-Medium、286K 图文样本训练，不使用任何奖励标注。SOAR 在所有报告指标上均优于 SFT：GenEval 0.70 → 0.78，OCR 0.64 → 0.67，DrawBench 上 PickScore、HPSv2.1、Aesthetic、ImageReward 同步提升。

△表 1：SOAR 与 SFT 在 SD3.5-Medium 上的指标对比。SOAR 在所有维度上均获得提升，且无需奖励模型

在高美学和高 CLIPScore 子集上的专项对比中，SOAR 不仅在目标指标上呈现稳定的单调提升，最终数值还优于直接优化对应奖励的 Flow-GRPO（Aesthetic 5.94 vs 5.87；ClipScore 0.300 vs 0.296）。换言之，不用奖励模型的 SOAR，比用奖励模型做 RL 的 Flow-GRPO 效果更好——这正是更高数据利用率带来的红利。

△图 3：SOAR 在目标指标上呈现稳定提升，最终超过 SFT 和 Flow-GRPO。无奖励模型，却优于 RL 方法 SOAR + RL：更稳定的后训练组合

SOAR 不是要替代 RL，而是为 RL 提供一个更稳定的起点。

当前 RL 后训练面临的一个核心挑战是：基础模型本身的生成轨迹还不够稳定，直接用奖励信号驱动探索，模型容易在不稳定的区域做出过激调整，导致某个指标提升但其他维度崩塌。

SOAR 可以先把模型的轨迹稳定性拉到一个更高的基线——语义不崩塌、结构不走形、文字不乱码——在此基础上再接入 RL 做偏好探索，模型就能在一个更安全的区间内进行风格调整和质量优化。

类比来说：先学会走稳，再学会按需变换步伐——而不是还没站稳就让奖励信号拽着跑。

可视化

△图 4：美学奖励优化—— SOAR 在结构稳定性、色彩氛围和细节质量上持续提升

△图 5：CLIPScore 奖励优化—— SOAR 在文字渲染准确性和构图保真度上表现出更强的语义遵循能力

△图 6：WebUI / 设计生成—— SOAR 展示了准确的布局排版、文字层级和视觉结构一致性结语

SOAR 为扩散模型后训练提供了一条全新路径：不依赖奖励模型，直接从数据中挖掘轨迹级纠正信号，让模型学会在生成过程中自我反思和纠偏。

当数据质量已经足够高时，决定模型上限的不再是数据本身，而是训练方法能从数据中提取多少有效信号。

SFT 只用了 " 标准答案 "，RL 把数据压缩成了稀疏奖励，而 SOAR 直接在轨迹层面榨取每一份数据的纠偏价值。这种从 " 被动模仿 " 到 " 主动自纠正 "的能力跃迁，有望成为图像、视频、3D 及更广义的世界生成模型走向下一阶段智能化的关键基础设施。

目前，HY-SOAR 相关论文与代码已公开，欢迎研究者和开发者继续测试、复现和探索。

项目主页：https://hy-soar.github.io

技术报告：https://arxiv.org/abs/2604.12617

GitHub：https://github.com/Tencent-Hunyuan/HY-SOAR

Huggingface: https://huggingface.co/papers/2604.12617

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生 

感兴趣的小伙伴欢迎关注  了解详情

点亮星标

科技前沿进展每日见