端到端语音到语音处理
语音识别、轮流发言、语言模型行为和语音输出在单个 Realtime 模型中协同调优，而不是分别选择。
什么是 Eleven Realtime？
Eleven Realtime 是用于构建低延迟语音智能体的语音到语音模型系列。它将语音识别、轮流发言、LLM 和文本转语音整合到端到端系统中，因此开发者可以选择 Realtime 模型，而不必分别配置这些组件。
该产品可通过 ElevenAgents 和兼容 OpenAI 的 Realtime API 使用。V1 Mini 专为自然对话设计，而 v1 Max 则适用于需要推理和多步骤工具调用的复杂任务。智能体可以配备语音、知识库、防护规则、工具，并部署到不同渠道。
主要功能
两种对话模式
V1 Mini 面向自然、富有表现力的互动对话，而 v1 Max 会在回复前进行推理，适用于复杂指令和多步骤工具调用。
多渠道部署
根据产品页面，ElevenAgents 可以在电话、网页小组件、WhatsApp 和客户中心平台之间使用同一个智能体。
智能体控制与监控
智能体可以配置知识库、防护规则、脚本化场景测试和生产环境对话监控。
兼容 OpenAI 的 API
该 API 兼容 OpenAI 的 Realtime API，包括相应的客户端和服务器事件，因此可以保留现有的处理程序和工具。
语音和语言选择
根据产品页面，该产品支持包含超过 17,500 个语音的语音库，并支持使用 90 多种语言进行实时对话。
使用场景
AI 助手
构建能够以自然的时机和富有表现力的语音输出处理快速提问和打断的助手，使用 v1 Mini 支持以对话为核心的互动。
教育辅导老师
创建口语辅导或引导式学习体验，让智能体能够以对话方式讲解主题，并回答学生的后续问题。
客户支持
使用 v1 Max 处理需要谨慎回复、访问工具或分多步骤处理客户请求的支持互动。
潜在客户筛选
通过语音对话筛选潜在客户，使用专为复杂业务互动和工具调用设计的模型。
互动角色
开发互动式虚构角色或游戏角色，使其能够维持基于语音的对话，并在来回交流中做出反应。
Pros and Cons
Pros
- 将语音识别、轮流发言、语言模型行为和语音输出整合到一个托管模型选项中。
- 提供不同模型，分别支持低延迟自然对话和更复杂的推理工作流。
- 提供兼容 OpenAI 的 API，可以保留现有的客户端事件处理和工具。
- 支持智能体知识库、防护规则、脚本化测试、监控以及跨多个渠道部署。
Cons
- Realtime 模型面向语音智能体，不适合纯文本智能体。
- 产品正在按工作区逐步推出，文档列出了针对某些数据驻留和合规配置的模型特定限制。
- 现有证据未确定 Realtime 专属的详细定价和配额。
FAQ
如何设置 Eleven Realtime？
Eleven Realtime 可通过 ElevenAgents 和 Realtime API 使用。在 ElevenAgents 中，将智能体的语音模式设置为 Realtime，选择 v1 Mini 或 v1 Max，配置语音和智能体设置，然后发布智能体。API 用户可以使用兼容 OpenAI 的 Realtime 客户端，只需更改端点和模型名称即可。
Realtime v1 Mini 和 v1 Max 有什么区别？
V1 Mini 是默认的低成本、低延迟选项，适用于助手、辅导老师和互动角色等自然对话场景。V1 Max 用于复杂指令、推理和多步骤工具调用，包括客户支持和潜在客户筛选。
我可以使用现有的 OpenAI Realtime API 客户端吗？
Realtime API 兼容 OpenAI 的 Realtime API。现有客户端可以将其 WebSocket 传输指向 ElevenLabs，选择 Realtime 模型和语音，并继续使用为兼容 API 构建的事件处理、日志记录和工具。
什么时候应该使用 Custom 模式，而不是 Realtime 模式？
Realtime 模型适用于语音对话。当智能体需要自定义 LLM、Amazon Bedrock、Speech Engine、特定的 LLM 或 TTS 模型、覆盖托管设置的工作流、与 Custom 模式智能体相互转接，或仅进行文本操作时，应改用 Custom 模式。
工作区或部署是否存在限制？
Realtime 模型正在逐步推出。如果智能体控制面板中未显示 Realtime 模式，该工作区可能尚未获得支持。文档还列出了针对数据驻留环境以及隐私或医疗保健要求的模型特定可用性限制。
Quick Facts
- 类别
- 语音 AI / 语音到语音
- 使用方式
- ElevenAgents 和 ElevenLabs Realtime API
- 模型
- Eleven Realtime v1 Mini 和 v1 Max
- 支持的对话语言
- 90 多种语言
- 语音库
- 产品页面所述超过 17,500 个语音
- API 兼容性
- 兼容 OpenAI Realtime API