智东西

作者 | 孙小雯

编辑 | 程茜

智东西 10 月 22 日消息，10 月 20 日，英国 AI 音频独角兽 ElevenLabs发布实时语音系列模型 Eleven Realtime，包括面向自然交流的 Eleven Realtime v1 Mini，以及面向客服、多步骤任务的 Eleven Realtime v1 Max。两款模型均支持超过 90 种语言，可使用 ElevenLabs 声音库中超过 1.7 万种音色。

此次发布主打简化语音智能体的搭建和调试。过去，开发者需要分别选择语音识别、大语言模型和语音合成等组件，再调整接话、打断等交互细节。Eleven Realtime 统一配置和调优底层组件，开发者选择 Mini 或 Max 后，即可围绕具体业务设置角色、知识库和工具，无需再逐项选择底层模型。

实时语音的难点之一，是既要答得对，又不能让用户等太久。据第三方 AI 评测机构 Artificial Analysis 的独立测试，Max 在 Big Bench Audio 语音推理评测中以 98.8% 的正确率位列第三，平均首次音频响应时间为 0.57 秒。

此次模型发布，智东西测试了其中的 Architect 搭建助手。从实测体验来看，用语音修改 Agent 设置比较方便，多项操作无需手动点击。不过，中文口音明显，回复偏长，延迟也较高。

ElevenLabs 于 2022 年成立，从文本转语音起家，逐步将业务扩展至语音识别、音效、音乐和对话智能体。今年 2 月，公司完成 5 亿美元（约 33.4 亿元人民币）D 轮融资，估值 110 亿美元（约 734.2 亿元人民币）；9 月的一笔员工股份交易使其估值达到 220 亿美元（约 1468.4 亿元人民币）。投资方既有红杉资本、a16z，也包括英伟达旗下 NVentures 和 LG Technology Ventures等产业资本。

其两位联合创始人 Mati Staniszewski 和 Piotr Dabkowski 分别在 Palantir 和谷歌工作多年，2025 年已跻身《福布斯》亿万富翁行列。公司也在考虑 IPO，CEO Mati Staniszewski 此前透露，希望未来两年至两年半内具备上市条件。

目前，两款模型可通过ElevenAgents 平台或 Realtime API使用。用户可在平台中创建或打开 Agent，选择 Realtime 模型；开发者也可通过 API 接入自己的应用。该 API 兼容 OpenAI Realtime 规范，目前仅支持 WebSocket 连接。

产品及演示入口：

https://ElevenLabs.io/zh/realtime

Agent 搭建入口：

https://ElevenLabs.io/app/agents

API 接入文档：

https://ElevenLabs.io/docs/eleven-agents/guides/openai-realtime-compatibility

一、实测语音修改 Agent 设置，操作方便，但中文口音明显

为了测试语音搭建 Agent 是否方便，智东西通过 ElevenLabs 的 Architect 搭建助手，尝试用英文修改语言、切换音色，再让助手改用中文交流，并用中文继续修改设置。

首先，我们用英文要求修改 Agent 的语言设置。Architect 理解指令后完成了修改，过程比较顺畅，不需要手动寻找菜单、切换选项。

接着，我们要求它换个声音。这次没能如愿：Architect 自身的音色不支持切换，所创建 Agent 的音色则可以在设置中选择。打开音色库后，可以看到可选声音确实不少。

ElevenLabs 音色库中的可选声音

随后，我们让 Architect 改用中文交流。它能听懂要求，但中文带着明显的外国口音，听起来有点 " 塑料 "，部分表达需要仔细听才能明白。

不过，中文指令的执行比较顺利。我们用中文要求修改 Agent 的语言设置，它也完成了相应修改。

实测下来，通过语音直接修改设置，还是让人有些惊喜。用户说清楚要求，助手就能完成部分配置，省去了寻找菜单、填写表单的操作。

不过，Architect 有些 " 话密 "，一个简单要求也可能引出一长串解释，且不易被打断。

Architect 执行指令时，有时会给出较长的解释

此外，测试中存在较明显的响应等待和偶发卡顿，可能受到网络影响。回复偏长、打断响应不够及时，以及中文语音不够自然，是本次体验中较突出的不足。

注：本次实测范围为 Architect 搭建助手。运行创建的 Agent 需要付费购买 Token，因此我们没能继续测试 Mini、Max 的实际对话表现。

二、Mini 用于教学和角色互动，Max 处理客服及多步骤任务

ElevenLabs 在官方演示中展示了两款模型的应用场景。

该公司称，Mini 主打低成本的自然对话，适用于 AI 助手、教学辅导和互动角色；Max 则面向客服、潜在客户筛选及多步骤工作流，更适合需要逐步推理、频繁调用工具的任务。

第三方 AI 评测机构 Artificial Analysis对两款模型进行了独立测试。在语音推理评测 Big Bench Audio 中，Max 的正确率为98.8%，Mini 为75.9%。该测试通过语音提出 1000 道题，涉及逻辑判断、物品计数、路径推理等任务，再对模型的口头回答进行评分。

截至 10 月 21 日，Max 在这一单项中位列第三，仅次于阶跃星辰的 StepAudio 3 Realtime（99.7%）和阿里的 Qwen Audio 3.0 Realtime Plus（99.2%）。

Big Bench Audio 语音推理评测排名，Eleven Realtime v1 Max 以 98.8% 的正确率位列第三（图源：Artificial Analysis）

Max 的延迟也较低。据 ElevenLabs 发布公告，Max 和 Mini 在 Big Bench Audio 测试中的平均首次音频响应时间分别为0.57 秒、0.62 秒。作为参考，Artificial Analysis 官网所列Qwen Audio 3.0 Realtime Plus 的同项指标为 1.54 秒。该指标衡量模型开始发声所需的时间。

在真人参与实时对话的 Speech Agent Arena 评测中，Max 的工具使用任务完成率为 87.1%，Mini 为 60.3%。该指标衡量模型通过正确的工具调用完成任务的比例，Max 在这一项上比 Mini 高出 26.8%。

不过，在停顿、打断等接话表现上，Mini 的综合成绩略高。在Full-Duplex-Bench（全双工对话评测）中，Artificial Analysis 选取停顿处理、轮次交接、用户打断和附和回应四类项目计算加权得分，Mini 为 95.8%，Max 为 94.1%。这些项目考察模型能否在用户停顿时继续等待、用户说完后及时接话，以及区分真正的打断和 " 嗯 "" 对 " 等附和声。

三、从配音、转写到实时交互，延续级联架构

此次 Realtime 发布前，ElevenLabs 已分别推出语音合成、语音识别模型，并提供语音 Agent 搭建服务。

语音合成方面，今年 9 月，该公司发布文本转语音模型 Eleven v4 及其低延迟版本 v4 Turbo，重点改善情绪表达、声音克隆和多角色对话效果。用户可以用自然语言或标签控制台词的语气、重音，并加入笑声等声音，v4 Turbo 则针对语音 Agent 等低延迟场景优化。

语音识别方面，去年 11 月推出的Scribe v2 Realtime 面向实时转写；今年 1 月发布的Scribe v2 则重点处理长录音和复杂音频，支持说话人区分、词级时间戳，及热词提示。

在单项模型之外，ElevenLabs 早在 2024 年 11 月就推出了 Conversational AI，支持开发者结合知识库、函数和大语言模型创建语音 Agent。

技术路线上，Eleven Realtime 延续采用级联架构，由语音识别、大语言模型和语音合成等独立组件协同完成对话。该公司认为，这种方式便于分别测试和升级各环节，也能通过中间生成的文字排查错误、约束回答，并接入更强的大语言模型。

不过，该公司也在技术博客中提到，语音转成文字时会丢失部分语调、节奏和情绪信息，需要通过额外建模补充。其优化方向是在保留各组件可控性的同时，改善声音表现、延迟和轮次交接。

定价方面，Realtime API 按音频连接时长和 Token 用量计费。超出套餐额度后，两款模型的音频连接费用均为每分钟 0.08 美元；Mini 每百万输入 Token 收费 0.20 美元、输出 Token 收费 6 美元；Max 分别为 1.80 美元、9 美元。

结语：实时语音加速接入 Agent，交互体验仍需打磨

ElevenLabs 此次发布 Realtime，将语音识别、推理和语音生成组合成可直接选用的实时交互方案。其在改善对话表现的同时，也降低了语音 Agent 的搭建门槛。

这一赛道已聚集多家大厂。OpenAI 的 GPT-Realtime、谷歌的 Gemini Live，以及阿里的 Qwen-Audio-Realtime 系列等，都在强化实时语音交互与工具调用能力。尽管技术路线和产品侧重有所不同，但各家目标一致：让用户通过自然对话，推动 AI 完成具体任务。

要让对话顺畅、任务持续推进，还需要整套系统配合。网络延迟、接话时机和工具执行都会影响使用体验，OpenAI 此前也披露了底层网络架构的优化，以减少停顿和打断延迟。

从智东西此次的体验来看，通过语音创建文档、修改设置已经让人惊喜，但响应速度、打断处理及页面切换时的语音连续性仍需打磨。随着模型和产品继续迭代，我们期待这类应用能在连续交流和任务执行中表现得更稳定，让语音成为用户日常工作中真正顺手的操作方式。