星途科讯 4小时前
MiniMax-H3压缩版发布:支持音视频同步,消费级显卡可实时运行
index.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

Video Rebirth 正式推出 HyperFlow H3 Flash,这是针对 MiniMax-H3 优化的压缩版少步生成模型。该模型能够在生成视频的同时输出同步的双声道音频,参数量仅为原版 MiniMax-H3 Transformer(约 310 亿参数)的一半左右。

核心规格与性能

HyperFlow H3 Flash 默认以 24 fps 帧率、1344 × 768 分辨率生成 5.2 至 15 秒的视频片段,并附带 32 kHz 立体声音轨。模型支持 4、6(默认)或 8 步采样,且无需分类器自由引导(CFG)。

在模型大小方面,fl2va 版本拥有 137 亿参数,ref2va 版本为 139 亿参数。经过量化处理后,Q4_K_M 精度下仅需 9.1 GB 存储空间,Q8_0 为 14.9 GB。这使得该模型能够在配备 16 GB 系统内存的个人电脑上,配合 24 GB 或 32 GB 显存的 GPU 运行。

推理速度表现如下:

4 × NVIDIA B200:生成 5.2 秒片段耗时 8.7 秒。借助合作伙伴 NVIDIA SOL-H3 的推理加速,可在 4 张 B 系列 GPU 上实现实时运行。

1 × NVIDIA H200:耗时 36 秒。

1 × NVIDIA RTX 5090:耗时 92 秒。

支持任务与运行时选择

模型支持三种主要任务:t2va(文生视频 + 音频)、fl2va(首帧或首尾帧生成视频 + 音频)以及 ref2va(参考图 / 视频 / 音频生成)。

用户可根据硬件条件选择运行时环境:

GGUF 运行时:适用于系统内存≤ 64 GB 的个人电脑。支持 ComfyUI、Unsloth Studio 和 stable-diffusion.cpp。推荐在 24 GB 显存 GPU 上使用 Q4_K_M 量化(占用 9.1-9.2 GB)。

INT8 convrot 运行时:适用于数据中心 GPU(如 H100/H200/B200)或系统内存≥ 69 GiB 且显存≥ 24 GB 的 RTX GPU。通过 Python 包调用,支持 W8A8 INT8 量化,模型占用约 16 GB。

基准测试数据

以下测试均基于 1344 × 768 分辨率、6 步采样的端到端生成(含文本编码、Transformer 计算及 VAE 解码):

消费级 GPU 表现(t2va 任务):

RTX 5090 ( 32 GB ) :INT8 模式下,5.2 秒片段耗时 92 秒,15 秒片段耗时 551 秒。GGUF 模式下(Q4_K_M),同等片段耗时分别为 99 秒和 575 秒(需≥ 64 GB 内存)。

RTX 4090 ( 24 GB ) :INT8 模式下,5.2 秒片段耗时 130 秒,15 秒片段耗时 750 秒。

RTX 3090 ( 24 GB ) :INT8 模式下,5.2 秒片段耗时 266 秒,15 秒片段耗时 1684 秒。

数据显示,INT8 Transformer 相比 GGUF 速度快 10 – 20%,但 GGUF 所需的系统内存不到 INT8 的一半。在显存充足的情况下(如 RTX 5090),文本编码器和 Transformer 可同时驻留显存,显著缩短文本编码时间。

数据中心 GPU 表现(INT8):

4 × H200:5.2 秒片段耗时 12.6 秒(使用 Triton 内核)或 12.3 秒(使用 CUTLASS INT8)。

4 × B200:5.2 秒片段耗时 8.7 秒。

技术架构亮点

HyperFlow H3 Flash 通过三项关键技术对 MiniMax-H3 进行了优化:

结构剪枝与低秩分解:移除了部分 Transformer 块(fl2va 移除 3 个,ref2va 移除 1 个),并对线性层进行低秩分解,大幅减少参数量。

旋转 W8A8 INT8 量化:对 180 个线性层应用块对角 Hadamard 旋转后量化为 W8A8 INT8,提升推理效率。

双时间条件控制:引入当前噪声水平 t 和步终点 r 的双时间嵌入,使得模型在无需 CFG 的情况下也能实现高质量的少步采样。

此外,模型支持多 GPU 并行推理,通过 Ulysses 上下文并行和 VAE 并行技术,可在多卡环境下线性扩展性能,并保持输出的逐位可复现性。

【星途科讯 图文丨 LCC 首发于 ZAKER 科技,转载请注明出处】

评论
归蓝
3小时前
音画能对齐吗
深情不及酒伴
3小时前
实时音视频生成要是能稳住,直播加特效或者做虚拟主播会省事很多,就是不知道延迟压不压得住
馥鳞
3小时前
延迟大概多少
仙人掌
4小时前
以前剪片子最烦的就是手动对音轨和口型,如果这模型能把这步自动搞定,哪怕画质低点我也愿意用
钉钉已读不回
4小时前
我显卡瑟瑟发抖
大家都在看