快科技 3 月 19 日消息,今日,小米发布 Xiaomi MiMo-V2-TTS,这是小米自研语音合成大模型,不仅能说、能演,还会唱。
其基于自研 Audio Tokenizer 和多码本语音 - 文本联合建模架构,经过上亿小时语音数据的大规模预训练与多维度强化学习,实现高度可控的多粒度语音风格控制。
该模型支持从整体风格定调到局部情绪表达的精准调节,能在同一句话内完成语气转折和情感递变,真实还原人类说话的自然韵律,在唱歌时,也能准确表达音高和节奏,自然且富有表现力。
为进一步激发模型在大规模预训练中积累的高表现力语音生成潜力,小米还引入了多维度强化学习,兼顾稳定性与表现力。
模型在预训练阶段通过大量文本 - 语音对齐数据,学习了书面语与口语表达之间的映射关系,能智能识别文本中的各类格式信号——如标点符号、语气词、强调标记等,并将其自动转化为恰当、自然的语音表达,全程无需用户额外标注或手动干预。
MiMo-V2-TTS 还支持多种方言的自然发音,包括东北话、四川话、河南话、粤语、台湾腔等,可进行角色扮演式的风格化演绎,还能实现高质量的歌声合成。
小米表示,MiMo-V2-TTS 是其语音技术路线图上的重要里程碑,但绝非终点。
在小米的规划中:中英文之外更多语种的覆盖;以及与 MiMo-V2-Omni 多模态理解能力的深度融合——让 Agent 不仅能看懂世界、理解世界,更能以富有表现力的人类声音去讲述这个世界。



登录后才可以发布评论哦
打开小程序可以发布评论哦