双向实时翻译
双向翻译实时语音，让每位参与者都能使用自己的语言讲话，并以自己的语言听到对方的内容。
面向多语言对话的实时语音翻译
Eleven Realtime Translation 是一款实时语音翻译产品，适用于参与者使用不同语言进行交流的对话场景。它会在人们交谈时将语音转换为翻译音频，让每个人都能使用自己的语言讲话，并以自己的语言听到对方的内容。
该产品面向对延迟敏感的双向互动，而非预先录制的配音。它支持超过90种输出语言、自动语言检测、可选语音，以及包含源音频转录的流式翻译文本。ElevenLabs 将其定位于运营商网络、联络中心、多语言活动及其他全球对话工作流。
团队可以通过 eagerness 设置调整翻译开始的速度，并通过 API 配置音频格式。该服务被描述为适合企业使用，产品页面列出了 SOC 2、PCI DSS Level 1、ISO 27001、HIPAA、GDPR 和 Zero Retention Mode；所提供的材料未说明 Realtime Translation 的具体实施细节、产品特定限制和定价。
核心功能
支持90多种输出语言
支持输出超过90种语言，同时在整个对话中保持一致的选定语音。
自动语言检测
自动检测每位呼叫者所使用的语言，减少呼叫者手动选择语言的需要。
可选语音层
团队可以从超过1.75万种语音的语音库中进行选择，也可以使用 Instant Voice Clone 或 Professional Voice Clone。选定的语音用于生成翻译语音，而不是完全复现原说话者的声音。
字幕和转录
将翻译文本与源音频的中间转录和最终转录一同进行流式传输，支持字幕和记录工作流。
可配置的响应速度和音频
提供低、中、高三档 eagerness 设置，以在翻译完整性和响应速度之间进行权衡。通过 API 可配置音频格式，以满足电信使用场景。
实际使用场景
现场活动
会议组织者可以在会议、新闻发布会和多语言会议期间，将翻译后的语音流式传输到与会者的设备。
电信服务
电信运营商可以将实时翻译添加到网络通话中，让用户跨语言沟通，而无需切换到单独的翻译工作流。
联络中心和 BPO
联络中心和业务流程外包商可以让客户和客服人员使用自己的母语交流，同时服务不同市场的客户。
多语言沟通产品
产品团队可以通过可配置的 API 连接音频工作流，围绕流式翻译音频、字幕和转录构建多语言通话或对话体验。
Pros and Cons
Pros
- 支持双向实时翻译，实现自然的跨语言对话。
- 支持超过90种语言的输出，并提供自动语言检测。
- 提供语音选择功能，包括超过1.75万种语音的语音库，以及 Instant Voice Clone 或 Professional Voice Clone。
- 与音频一同流式传输翻译文本以及源音频的中间转录和最终转录。
- 列出包括 SOC 2、PCI DSS Level 1、ISO 27001、HIPAA、GDPR 和 Zero Retention Mode 在内的企业安全和隐私选项。
Cons
- 该产品不会完全保留原说话者的声音；翻译语音使用选定的语音库语音或语音克隆。
- 所提供的产品材料未说明 Realtime Translation 的定价、设置要求或按语言划分的详细限制。
- 双向行为和端点配置需要在网络或产品层面实施。
FAQ
它能翻译对话双方的内容吗？
可以。该产品支持双向对话：每位参与者使用自己的语言讲话，并以自己的语言听到对方的内容。双向行为需要在网络或产品层面进行配置，例如将每位呼叫者连接到专用端点实例。
它是否提供字幕或转录？
每个会话都会流式传输翻译文本，以及源音频的中间转录和最终转录。这些输出除了翻译音频外，还可用于实时字幕或会话记录。
翻译后的音频会保留原说话者的声音吗？
Realtime Translation 使用选定的输出语音，而不是将原说话者的声音原样跨语言保留。用户可以从 ElevenLabs 的1.75万多种语音库中进行选择，也可以使用 Instant Voice Clone 或 Professional Voice Clone 作为语音 ID。
团队如何平衡翻译速度和质量？
eagerness 设置用于控制速度与翻译质量之间的平衡。高设置会更早开始翻译，从而降低延迟；低设置会等待更多句子内容，以便可能获得更高质量的输出，但延迟更高；中设置为默认选项。
哪个语音模型会生成翻译音频？
Eleven v4 Turbo 是翻译语音默认使用的文本转语音模型。来源还指出，客户可以将 TTS 模型设置为 eleven_flash_v2_5 或 eleven_v3。
Quick Facts
- 类别
- AI 语音翻译
- 主要工作流
- 实时双向对话
- 语言覆盖范围
- 90多种输出语言
- 音频输出
- 带可选语音的自然翻译语音
- 文本输出
- 翻译文本，以及源音频的中间转录和最终转录
- 提供商
- ElevenLabs