智东西（公众号：zhidxcom）

作者 | 王涵

编辑 | 漠影

智东西 7 月 23 日报道，7 月 11 日，清华大学和生数科技发表合作论文，正式推出一种基于免训练方法的精准时间可控长时文生音频系统 FreeAudio。

据介绍，该系统无需额外训练，可以基于自然语言文本与时间提示实现精确的时间控制与长时音频生成，突破 10 秒时长限制，解锁了 10 秒以上场景的文生音效时间精准可控。

该方法利用 LLM 对时间结构进行规划，将文本与时间提示解析为一系列互不重叠的时间窗口，并为每个窗口生成适配的自然语言描述。随后，FreeAudio 再依次生成各时间片段的音频内容，并通过上下文融合与参考引导机制实现最终的长时音频合成。

目前相关研究成果已被计算机多媒体领域的国际顶级会议 ACM Multimedia 2025 录用，并由 AC 推荐为 Oral 录取。

此前，生数科技曾联合清华大学推出文生音效系统，自称是全球首个实现 10 秒内精准时间控制的商业落地系统，支持独立时间窗音效生成，其多音轨时间窗可控功能已通过生数科技 Vidu 平台落地商用。​

一、3 大核心技术，FreeAudio 系统突破 10 秒时长瓶颈

文生音频（T2A）生成技术虽在生成模型推动下取得进展，但受限于时间对齐的音频 - 文本数据质量和数量，现有系统在处理含精确时间控制的复杂文本提示时表现不佳。

即便部分研究通过数据增强或引入时间条件实现了 10 秒内的时间可控生成，生成质量仍有限。此外，多数公开音频数据集时长较短（通常约 10 秒），且标注较粗，制约了细粒度时间控制和长时连贯性模型的发展。

清华大学和生数科技合作研发的 FreeAudio 系统，能够依据自然语言文本与时间提示，无需额外训练即可同时支持时间控制与长时生成，突破了 10 秒时长限制，其主要有 3 大核心技术：

1、LLM 规划：

该系统利用大语言模型（LLM）的规划能力，将文本和时间提示转换为一系列非重叠时间窗口，每个窗口配有自然语言重新描述，解决时间重叠和间隙问题。

时间可控音频生成的 LLM Planning 和 Decoupling & Aggregating Attention Control 模块

2、解耦与聚合注意力控制：

在 DiT-based T2A 模型基础上，该系统对基础潜变量按时间窗口分割，引导每个子段与对应重新描述提示独立进行交叉注意力计算，再将子段聚合整合，实现时间对齐和全局一致性。

长时音频生成的整体架构图

3、长时生成优化技术：

（1）上下文潜变量合成：FreeAudio 系统通过处理相邻音频段重叠区域，增强局部边界平滑度；

（2）参考引导：在自注意力模块中，该系统利用参考音频特征，维持长时音频的全局一致性；

（3）上下文修剪与拼接：该系统去除重叠区域冗余部分，后将解码后的段拼接，以生成最终长时音频。

二、多项指标得分最优，长时生成能力排名第一

在时间可控音频生成实验中，在 AudioCondition 测试集上，FreeAudio 系统的事件级（Eb）和片段级（At）得分均排名第一。

在客观指标方面，FreeAudio 系统的 FAD 和 KL 散度与最优的训练型模型相当，CLAP 分数排名第一。在主观评估中，FreeAudio 系统同样获得了最高的时间一致性与音频可听性评分。

进一步的消融实验表明，参考引导技术有效提升了长时音频的全局一致性，当 λ 在 0.1 至 0.2 范围内时，各项指标均表现最优，在同类设置中排名第一。

在长时生成性能上，针对 26 秒和 90 秒生成任务，FreeAudio 系统在多数指标上排名第一，在主观评估中，其质量、一致性和连贯性三个维度的得分均排名第一。

三、将继续研究更长时长机制，FreeAudio 或在 Vidu 产品端上线

此次推出的 FreeAudio 系统实现了新的技术突破，即突破 10 秒时长限制，能够在 10 秒以上场景中实现文生音效的时间精准控制。

总的来说，该系统解决了多个行业痛点，如避免音效版权风险，解决音效匹配难题；大幅降低音效制作成本；支持多音轨秒级对齐，如环境声与动物鸣叫可精准叠加等。​

据了解，FreeAudio 系统未来或将考虑在 Vidu 产品端上线。研发团队计划在未来进一步探索结合自然语言事件描述的训练式时间控制文本到音频生成系统，以提升时间对齐精度和音频生成质量。

在长时音频生成方面，未来他们还计划研究支持更长时长甚至无限长生成的机制，同时希望将该方法拓展至空间音频生成等方向，以支持更多样的听觉场景。

结语：FreeAudio 系统具备应用潜力

随着 AI 音频生成技术的加速发展，市场对精准时间控制和长时音频生成的需求日益凸显，但现有方案在时长限制、版权风险及制作成本等方面仍存在瓶颈。

FreeAudio 系统突破了 "10 秒魔咒 "，技术成果获国际顶级会议认可，为行业提供了新的解决方案。未来随着商业化落地及技术迭代，其在影视音效等领域的应用潜力值得关注。