云头条 23小时前
英伟达深挖 MiniMax H3:再造 4K 神器!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

近日,由英伟达与麻省理工学院研究人员组成的   Efficient-Large-Model   团队,在   Hugging Face   发布视频增强项目   Open-H3-Regenerate-2K   的模型权重,配套推理代码已在   NVlabs/Sana   仓库开放。该方案基于   MiniMax H3,将低分辨率视频草稿重新生成为高分辨率视频,支持   2560 × 1440   的   2K   输出,最高可实现   3840 × 2160   的原生   4K   重生成。

MiniMax H3   的完整系统包含多模态上下文处理、基础音视频生成和高分辨率重生成等环节。其中,已开放权重的   H3-Base   负责生成   768P   音视频,官方   H3-Regenerate-2K   模块通过   API   提供服务。

此次发布的项目复用   H3   基础模型的生成能力,为高分辨率重生成环节提供了一套可自行部署的开放实现。

在细化模型的训练阶段,研究团队保持   H3 Transformer   主干与视频   VAE   的原有参数不变,仅训练新增的细化   LoRA。

推理时,细化   LoRA   与   LightX2V FL2VA Turbo、LMS Sharp   等社区适配器合并使用,通过三步去噪,在目标分辨率下重新生成画面细节。视频草稿中的场景、布局和运动信息,则为这一过程提供基础。

为提高推理效率,项目采用社区开发的潜空间放大器,直接放大视频的潜在表示,减少高分辨率下重复解码、编码的开销。同时,方案结合   SoL-Engine   的稀疏注意力、低精度计算和快速   VAE   解码器,对细化与解码环节进行加速。

项目团队公布的测试显示,在单张   NVIDIA B200 GPU、预热后的测试条件下,一段约   5   秒视频的潜空间放大、三步细化和   2K   解码合计耗时,由未优化实现的   87.26   秒降至   22.45   秒,处理速度约为原来的   3.9   倍。其中,快速解码器将视频解码耗时从约   15   秒降至约   1.6   秒。

画质方面,项目团队在   RefinerBench-150   上进行了对比评测。

在相同输入、相同   2K   输出条件下,Open-H3-Regenerate-2K   在感知质量评测   UniPercept   上的平均分为   60.0,官方   H3-Regenerate-2K API   为   53.4。VBench   评测中,该方案的美学质量、成像质量和主体一致性得分更高,官方   API   在运动平滑度和动态程度上仍略优。

在项目团队组织的盲测 A/B 对比中,20 场评测共完成 200 次判断,其中 174 次(87%)更偏好 Open-H3-Regenerate-2K,26 次(13%)更偏好官方 API。

MiniMax H3   在今年   8   月开放权重,围绕   H3   展开的微调、蒸馏和工具适配迅速增多,吸引了海内外研究团队与社区开发者参与,一个月内下载量超过   2400   万次,产生超过   300   个公开衍生模型,H3   成为   2026   年全球下载量最高的模型之一。

其中,英伟达与   MIT   联合围绕   H3   的开发覆盖了不同方向。

除本次视频增强方案外,该团队还发布了基于   H3 Ref2VA   构建的流式视频渲染模型   StreamRender-H3,以及从   H3   视频   VAE   蒸馏而来的快速解码器   Sol-H3-VAE,分别面向交互式视频渲染和解码效率优化。

此前,LightX2V   推出的   MiniMax-H3 Turbo   提供四步、八步等蒸馏版本,社区微调模型   Singularity   则着重优化动作表现、面部细节与视觉风格。

海外团队   FastVideo、Pika   也分别发布了   FastH3   四步预览版本和六步采样的   Pika H3 Flex;ComfyUI、Unsloth   则通过适配权重和量化版本,将   H3   带入更多本地创作工作流。

云头条声明:如以上内容有误或侵犯到你公司、机构、单位或个人权益,请联系我们说明理由,我们会配合,无条件删除处理。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

英伟达 麻省理工学院
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论