IT之家 昨天
阿里通义发布端到端语音交互模型Fun-Audio-Chat,能猜出你的心情
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 12 月 23 日消息,阿里通义大模型今日发布了新一代端到端语音交互模型 Fun-Audio-Chat

阿里通义本次开源了 Fun-Audio-Chat 8B,该模型在 OpenAudioBench、MMAU、Speech-ACEBench、VStyle 等多个榜单上 " 同尺寸模型排名第一 ",综合性能超 GLM4-Voice、Kimi-Audio、Baichuan-Omni 等。

IT 之家附 Fun-Audio-Chat 技术亮点如下:

端到端 S2S 架构:从语音输入直接生成语音输出,无需 ASR + LLM + TTS 多模块拼接,效率更高、延迟更低。

双分辨率设计:Shared LLM 层以 5Hz 帧率高效处理,SRH 以 25Hz 帧率生成高质量语音,GPU 计算开销降低近 50%。

百万小时多任务数据训练:覆盖音频理解、语音问答、情感识别、工具调用等真实场景,让模型更 " 接地气 "。

阿里通义表示,Fun-Audio-Chat 可以提供 " 像朋友一样的对话体验 ",感知用户的情绪,哪怕用户没直接说情绪,它也能从语气、语速、停顿里猜出心情,然后给出回应。

此外,Fun-Audio-Chat 可完成复杂任务,用户只需用自然语音下达指令,它就能自动调用函数

IT 之家附 Fun-Audio-Chat 8B 开源地址如下:

GitHub:https://github.com/FunAudioLLM/Fun-Audio-Chat

HuggingFace:https://huggingface.co/FunAudioLLM/Fun-Audio-Chat-8B

ModelScope:https://modelscope.cn/FunAudioLLM/Fun-Audio-Chat-8B

Demo Page:https://funaudiollm.github.io/funaudiochat

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

阿里 it之家 语音交互 开源 分辨率
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论