什么是 Fish Audio S2？

Fish Audio S2 代表了语音AI的革命性飞跃，确立了其作为当今最富表现力、功能最强大的开源文本转语音（TTS）模型的地位。S2 从底层设计就专注于表现力、速度和完全的开放性，使开发者和创作者能够生成令人难以置信的逼真语音，并对每一个细微差别进行精细控制。

与传统的TTS系统不同，S2专为动态、实时交互而构建。其低于150毫秒的超低延迟，为无缝的对话式AI、实时配音和感觉自然且即时的交互式语音体验开启了可能性。该模型的开源性质意味着可以完全访问推理代码和模型权重，允许自托管、自定义微调和集成，而没有供应商锁定，从而促进了语音技术创新中的社区驱动方法。

主要功能

• 无与伦比的表现力： 通过自然的文本指令控制情感、副语言和细微的声调变化。生成带有笑声、耳语、叹息等的语音，创造真正逼真的声音表现。
• 超低延迟： 实现低于150毫秒的响应时间，支持实时对话式AI、实时配音和交互式应用程序，而无需牺牲质量。
• 开放域控制与多说话人： 在单次生成中无缝管理说话人转换，并使用自然语言提示控制表现元素，提供无与伦比的灵活性。
• 支持80多种语言： 为多种语言生成高质量语音，对英语、日语和中文提供一级支持，并为许多其他语言提供强大支持。
• 完全开源： 访问推理代码和模型权重。在您自己的基础设施上运行、微调和集成S2，确保透明度和摆脱供应商锁定。
• 生产级性能： S2 经过 SGLang 优化，提供卓越的速度和效率，包括连续批处理和分页 KV 缓存等功能，适用于高吞吐量应用。
• 精细的内联控制： 使用灵活的标签语法（例如 [用小声音耳语]、[专业广播语气]）将自然语言指令直接嵌入文本中，实现单词级别的表现力控制。

如何使用 Fish Audio S2

无论您是通过API集成还是本地运行，开始使用 Fish Audio S2 都非常简单。

1. 安装： 使用 pip 安装必要的库：pip install fish-audio。
2. API集成： 使用您的API密钥初始化 FishAudio 客户端：client = FishAudio(api_key="your_api_key_here")。
3. 语音生成： 使用 client.tts.convert() 方法，指定您的文本、所需的模型（例如 s2-pro）和任何表现控制标签。例如：audio = client.tts.convert(text="[兴奋] 你好！[停顿] 有什么可以帮您的吗？", model="s2-pro")。
4. 保存音频： 使用实用函数将生成的音频保存到文件：save(audio, "output.mp3")。
5. 本地部署（可选）： 为了获得完全控制，请下载模型权重和推理代码。按照提供的文档在您自己的硬件上设置基于 SGLang 的流式推理引擎。

尝试不同的控制标签和多说话人配置，以获得您所需的精确声音表现。

用途

Fish Audio S2 的高级功能使其非常适合广泛的应用：

• 对话式AI与聊天机器人： 创建高度吸引人且听起来自然的虚拟助手和聊天机器人，能够传达情感和个性，从而改善用户体验。
• 游戏与虚拟世界： 开发身临其境的游戏体验，其中的动态NPC对话能够对游戏内事件和玩家互动做出真实反应。
• 内容创作与配音： 制作具有逼真语调和情感的专业级配音、播客和有声读物。以最小的延迟实现视频和直播的实时配音。
• 辅助工具： 为视障用户或有沟通困难的用户构建高级文本转语音应用程序，提供更自然、更易于理解的语音输出。
• 交互式语音应答（IVR）系统： 通过更像人类且富有表现力的语音提示来增强客户服务IVR系统，提高呼叫者满意度。

FAQ

什么是 Fish Audio S2 Pro？ Fish Audio S2 Pro 是一款先进的文本转语音模型，以其对韵律和情感的精细控制而闻名。它利用双自回归架构和跨越80多种语言的广泛训练数据，提供高度逼真的语音。该版本包括模型权重、微调代码和一个优化的推理引擎。

精细的内联控制是如何工作的？ S2 Pro 允许通过使用类似标签的语法（例如 [音高升高]、[笑]）将自然语言指令直接嵌入文本中，从而实现局部语音控制。这支持在单词级别上进行开放式的表达控制，支持超过15,000个独特的描述性标签，以实现细致的声音表现。

S2 Pro 的性能指标是什么？ 在高规格GPU上，S2 Pro 实现的实时因子（RTF）低于0.5，首次音频生成时间约为100毫秒。其基于 SGLang 的推理引擎针对吞吐量和低延迟进行了高度优化，支持高级服务技术。

Fish Audio S2 的许可是什么？ Fish Audio S2 在 Fish Audio 研究许可下提供。研究和非商业用途是免费的。商业用途需要单独的许可；请联系 [email protected] 获取详细信息。

S2 Pro 支持多少种语言？ S2 Pro 支持80多种语言，对英语、日语和中文提供顶级质量。它还为韩语、西班牙语、葡萄牙语、阿拉伯语、俄语、法语和德语等语言提供强大支持。