IT之家 06-05
谷歌推出Magenta RealTime 2本地实时音乐AI模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 6 月 5 日消息,谷歌 Magenta 团队昨日(6 月 4 日)发布 Magenta RealTime 2(MRT2)模型,并同步免费放出乐器应用 Jam 以及 DAW 插件 MRT2。

MRT2 定位是可与用户 " 即兴合奏 " 的本地实时音乐模型,共有 2 种规模,其一是高质量模型 mrt2_base,参数量为 24 亿;其二是高速模型 mrt2_small,参数量为 2.3 亿。

谷歌表示上述两个版本均针对苹果 Apple Silicon 芯片优化,其中 mrt2_small 可在搭载 M1 及后续芯片的 Apple 电脑上实时运行。

MRT2 最大变化是 " 低延迟 "。上一代 Magenta RealTime 需要 TPU 或高性能 GPU,控制延迟约 3 秒,且以 2 秒音频块为单位响应。

MRT2 改为逐帧生成,每帧 40 毫秒,实际控制延迟约 200 毫秒,较前代降低至 15 分之一。这让模型对输入变化的反应明显更快,更接近真实乐器的演奏体验。

在控制方式上,MRT2 比前代更完整。它支持文本和音频风格提示,也支持 MIDI 音符与鼓开关控制。

模型可持续跟随音符输入变化,还能在 Auto-Strum 模式下自动决定拨弦或起音时机;关闭该模式后,用户还能精确指定音符起始时刻。对于鼓组,系统也支持切换有鼓或无鼓输出,适合多轨编曲场景。

技术层面,MRT2 仍属于 Codec Language Model(编解码器语言模型),基于 SpectroStream 音频编解码器处理 48kHz 立体声音频,并以 25Hz 帧率生成音频标记。

交互方面,谷歌还推出 Jam 免费应用,支持用户输入想要的音乐风格描述,随后模型开始生成音乐;用户还可通过下方键盘调整音高。

输入设备不仅包括鼠标点击,还支持 MacBook 键盘与 MIDI 键盘,这让实时控制更接近传统电子乐器和数字编曲工作流。

如果用户已习惯在成熟编曲环境中工作,MRT2 插件则提供了接入路径。借助该插件,创作者可在自己常用的 DAW 中调用 Magenta RealTime 2。

IT 之家附上参考地址

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

谷歌 apple it之家 音乐 芯片
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论