智东西 8小时前
网易开源两款同传模型,延迟、准确率开源SOTA,快嘴也能实时翻译
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

AI 应用风向标(公众号:ZhidxcomAI)

作者|毕伟豪

编辑|漠影

智东西 9 月 16 日报道,在刚刚结束的网易有道 AI Open Day 发布会上,网易有道发布并开源了两款全新的同传模型子曰 4-R2T2 和子曰 4-T3PO,两款模型均具备流式输出能力,可以提供极低时延、高流畅度的实时同传体验。

同时,网易有道发布并开源了办公 Agent 应用 LobsterAI 的 2.0 版本,在开源项目兼容、团队共享等方面进行了升级,并全面兼容了 OpenClaw2.0 版本。

现场网易有道还发布了网易首个 AI 原生语音 Agent 网易叭哥说,可以提供实时语音输入和翻译能力,支持 100 多种语言实时互译,并宣布终身免费

数据方面,据网易有道 CEO 周枫现场披露,有道 AI 同传累计服务用户超过 2500 万,使用次数同比增长近一倍;口语学习产品 Hi Echo 用户突破 1000 万;办公 Agent LobsterAI 用户规模突破 100 万,活跃用户次日留存超过 80%。

Hi Echo 升级为了 Agent 口语私教,采用端到端全双工语音对话,能识别对话中的语气与情绪。

一、语音交互能力开源 SOTA,超快语速稳定输出

本次发布会上,网易有道发布并开源了两款同传模型,其中子曰 -R2T2 是一款低延迟、高精度的真流式自动语音识别 ( ASR ) 模型。

该模型的平均延迟仅为 200 至 600 毫秒,在各类 benchmark 中,子曰 4-R2T2 的延迟和识别质量均达到了开源模型中的最先进水平 ( SOTA ) ,和闭源模型相比也并不逊色。

该模型采用一套特殊的数据构建技术进行训练,包括稳定前缀数据、强制时间对齐数据和词元级音频分割。训练中还结合了最长稳定前缀(LSP)学习范式,在流式输出设计下,R2T2 在离线识别中仍保持了很高的准确率。

子曰 4-T3PO 则是一款拥有 140 亿参数的文本到文本同步机器翻译(SiMT)模型,有道团队通过高质量分段对齐数据构建、翻译模型流式冷启动以及基于帕累托感知的强化学习进行模型训练。

该模型同样采用全流式输出,同时用户可以对延迟模式进行调节,根据不同的使用场景,选择从低延迟到高质量的不同模式。

此外,T3PO 可以与外部流式自动语音识别(ASR)模型联动,实现从语音到文本的实时转换。现场演示了一段超快语速的实时翻译和流式输出,可以看到两款模型的组合下,语音被清楚地翻译成了中文,输出速度非常快。

二、网易叭哥说上线,超百种语言实时翻译,永久免费

网易叭哥说是网易首个 AI 原生语音 Agent,定位为 " 从语音转文字走向语音转意图 " 的产品。

该产品在语音识别之后继续做语义理解,把口语表达中的重复、停顿、改口整理为可以直接使用的文字,可用于聊天、邮件、文档等场景。

叭哥说支持 100 多种语言的实时语音翻译,在计算机、金融、医学等领域,有道称翻译准确率可达 98% 以上。

产品承诺终身免费,声音仅在本地处理,不上传、不记录,也不用于模型训练。目前 Mac 与 Windows 桌面端已全量上线,移动端还在开发中。

口语学习产品 Hi Echo 累计用户突破 1000 万。这次升级后,产品定位为 Agent 口语私教,采用端到端全双工语音对话,支持随时打断,并能识别对话中的语气与情绪。

系统从第一次对话开始评估用户水平,据此生成学习计划,后续动态调整,底层是有道自研的 Helix 目标驱动型自进化学习系统。场景覆盖口语考试、商务谈判与求职面试,新版将在下周上线应用市场。

有道同时宣布与雅思官方达成合作,Hi Echo 成为 BC 雅思官方模拟测评系统首家全面合作伙伴。

三、LobsterAI 2.0 升级,全面兼容新版龙虾

LobsterAI 是国内首个 100% 开源的桌面级办公 Agent,今年 2 月 19 日发布。截至目前,产品用户规模突破 100 万,活跃用户次日留存超 80%,人均每日 token 消耗超 2000 万,GitHub Star 超 6000,累计发布 79 个版本。

2.0 版本最大的变化是生态兼容,其全面兼容 OpenClaw 2.0,底座同步升级,这一版本有 900 多位贡献者、1.6 万个 PR,是龙虾史上最大的一次更新。

另外两项更新偏向产品和商业模式。新增的 Sites 功能让 Agent 生成的结果可以一键拥有公网可访问地址,并支持设置分享码;新增的 Teams 功能面向团队协作,取消了席位费,只按实际用量收费。

周枫在采访中提到,LobsterAI 与同类产品最大的不同在于开源,不锁定生态,可以对任何应用开放适配。

除此之外,周枫还提到,网易在用户群体上面呈现出年轻化的特征。很多用户在使用网易有道词典等产品时,也会接触到网易有道的 Agent 产品。

结语:从模型到 Agent,网易有道加速 AI 落地

从实时语音模型、语音 Agent 到办公 Agent,有道此次发布的产品主要落在学习和工作两大场景。周枫在媒体问答中提到,公司目前关注学习、工作和广告营销三大方向,其中广告营销业务已占公司近一半,但此次新发布暂未涉及这一业务线。

对有道而言,模型能力和产品形态已经进一步向 Agent 化延伸,但从技术能力走到规模化应用,仍要看真实工作流中的任务完成率、用户使用频次以及由此形成的商业价值。

接下来,这些产品能否从单点体验进一步进入高频工作场景,将是验证这套 AI 布局的重要指标。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

网易 有道 开源 网易有道 翻译
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论