Eleven v4 icon

Eleven v4

Eleven v4 与 Eleven v4 Turbo 是富有表现力的 AI 文本转语音模型,支持旁白、对话、多语言语音内容和实时语音代理,助力创作者与开发者精准控制情绪、说话人语境、停顿及音频事件;Turbo 专为流式对话优化。

Eleven v4

用于旁白和实时对话的富有表现力的文本转语音

Eleven v4 和 Eleven v4 Turbo 是 ElevenLabs 的文本转语音模型,可根据书面脚本生成富有表现力的语音音频。V4 定位于情感化旁白和对话,而 v4 Turbo 则在保留相同表现力范围的同时,采用专为实时交互和语音代理设计的模型。

这些模型支持根据说话人调整表达、情绪指导、音频事件和多说话人场景。Eleven v4 可在 ElevenLabs 应用中使用,v4 Turbo 可通过 API 和 ElevenAgents 使用;更广泛的 ElevenLabs 平台还提供语音选择、语音克隆、Studio 工作流、配音和其他创意音频工具,具体可用性因套餐和产品界面而异。

主要功能

理解语境的表现力语音

模型会解读说话人语境、前置事件和预期表达方式,从而生成更具表现力的旁白和对话。

脚本级指令和音频事件

可直接在脚本中添加 [laughs]、[whispers]、停顿以及 [door slams] 等声音提示标签,以指导表演和场景细节。

多语言多说话人生成

在 90 多种语言中生成具有情绪变化、对话式表达和内置音效的多说话人场景。

长篇内容连贯性

上下文拼接旨在保持长篇脚本中的节奏和表达方式,帮助长篇输出听起来连贯而非片段化。

重新生成时保持说话人稳定性

在保持整个对话和旁白中说话人身份一致的同时重新生成单独台词,减少不同录制版本之间的声音漂移。

实时 Turbo 流式传输

Eleven v4 Turbo 支持双向流式传输;根据产品页面,其首次语音的中位时间约为 150 毫秒,中位推理延迟约为 100 毫秒。

使用场景

  • 有声书和叙事内容制作

    制作包含多个角色、停顿、情绪指导和声音提示的有声书、连载故事及戏剧脚本,同时利用上下文拼接保持长篇内容的表达一致。

  • 播客、课程和讲解内容

    制作播客、讲解内容和教育材料,支持对话式或教学式语音、多语言版本及可控节奏。

  • 实时语音代理

    构建客户服务、销售和支持代理,在 LLM 生成文本时流式输出合成语音,使响应、确认、升级和等待状态能够采用不同的表达方式。

  • 多语言本地化

    面向不同市场的受众生成本地化语音内容,使用多语言语音以及支持目标语言的 Professional Voice Clones。

  • 视频、游戏和品牌内容

    借助更广泛的 ElevenLabs 语音库和语音工具,为视频、社交内容、游戏和广告制作品牌配音及角色表演。

Pros and Cons

Pros

  • 支持通过脚本标签、停顿、情绪和声音事件进行表现力指导。
  • 借助上下文拼接和说话人稳定性,支持多说话人及长篇语音工作流。
  • 支持 90 多种语言的语音,并在 v4 中支持 Professional Voice Clones。
  • Turbo 专为流式传输、代理循环和实时对话响应而设计。
  • 可根据模型不同应用于应用、API 和代理工作流。

Cons

  • 现有证据未说明完整的逐模型套餐矩阵、输出限制或所有 API 设置要求。
  • 语音克隆、Studio、配音和协作等部分功能属于更广泛的 ElevenLabs 平台,可能取决于所选产品或订阅层级。

FAQ

Eleven v4 和 Eleven v4 Turbo 可以在哪里使用?

Eleven v4 可通过 ElevenLabs 网页和移动应用使用,而 Eleven v4 Turbo 可通过 API 和 ElevenAgents 用于实时语音工作流。

如何在 Eleven v4 中控制表达和声音?

Eleven v4 支持在脚本中添加指令,包括 [laughs]、[whispers] 和 [door slams] 等标签。它还可以处理多说话人对话、情绪化表达、停顿和内置音效。

Eleven v4 Turbo 专为哪些场景设计?

Eleven v4 Turbo 专为实时交互设计。LLM 生成文本时,可以将文本流式传入,并通过双向流式传输在句子完成前将音频流式传回。

支持哪些语言和语音克隆选项?

Eleven v4 支持 90 多种语言的语音。Turbo 特别说明支持以带有母语口音的日语、西班牙语和葡萄牙语文本进行语音合成;两种模型均支持 Professional Voice Clones,具体取决于克隆语音所支持的语言。

ElevenLabs 文本转语音的使用如何计费?

ElevenLabs 的各项产品共用积分。文本转语音的标价约为每个字符 1 积分,但确切费用可能因模型和 API 定价规则而异;套餐包括免费层级和付费层级。

Quick Facts

类别
AI 文本转语音
模型
Eleven v4 和 Eleven v4 Turbo
主要工作流
旁白、对话、语音代理和实时对话
语言覆盖范围
Eleven v4 支持 90 多种语言
Turbo 使用方式
API 和 ElevenAgents
平台
ElevenLabs 网页和移动应用、API 及代理产品