什麼是 Fish Audio S2？

Fish Audio S2 代表了語音 AI 的一項突破性飛躍，已成為當今最富表現力、功能最強大的開源文字轉語音（TTS）模型。S2 從根本上以表現力、速度和完全開放性為重點進行工程設計，使開發人員和創作者能夠生成令人難以置信的逼真語音，並對每一個細微差別進行精細控制。

與傳統 TTS 系統不同，S2 是為動態、實時交互而構建的。其超低延遲（低於 150 毫秒）為無縫對話式 AI、實時配音和感覺自然且即時的交互式語音體驗打開了可能性。該模型開源，意味著可以完全訪問推理代碼和模型權重，從而能夠自行託管、自定義微調和集成，而沒有供應商鎖定，從而促進了語音技術創新中的社區驅動方法。

主要特色

**無與倫比的表現力：**通過自然的文本指令控制情感、副語言和細微的聲音變化。生成帶有笑聲、耳語、嘆息等的語音，創造真正逼真的聲音表演。
**超低延遲：**實現低於 150 毫秒的響應時間，從而能夠進行實時對話式 AI、實時配音和交互式應用程序，而不會影響質量。
**開放域控制與多聲語者：**在單次生成中無縫管理聲語者轉換，並使用自然語言提示控制表現力元素，提供無與倫比的靈活性。
**超過 80 種語言支持：**生成多種語言的高質量語音，為英語、日語和中文提供頂級支持，並為許多其他語言提供強大支持。
**完全開源：**訪問推理代碼和模型權重。在您自己的基礎設施上運行、微調和集成 S2，確保透明度並擺脫供應商鎖定。
**生產就緒性能：**通過 SGLang 進行優化，S2 提供卓越的速度和效率，包括用於高吞吐量應用的連續批處理和分頁 KV 快取等功能。
**精細的內嵌控制：**使用靈活的標籤語法（例如 [whisper in small voice]、[professional broadcast tone]）將自然語言指令直接嵌入文本中，實現單詞級別的表現力控制。

如何使用 Fish Audio S2

無論您是通過 API 集成還是本地運行，開始使用 Fish Audio S2 都非常簡單。

**安裝：**使用 pip 安裝必要的庫：pip install fish-audio。
**API 集成：**使用您的 API 金鑰初始化 FishAudio 客戶端：client = FishAudio(api_key="your_api_key_here")。
**語音生成：**使用 client.tts.convert() 方法，指定您的文本、所需的模型（例如 s2-pro）以及任何用於表現力的控制標籤。例如：audio = client.tts.convert(text="[excited] Hello there! [pause] How can I help you today?", model="s2-pro")。
**保存音頻：**使用實用函數將生成的音頻保存到文件：save(audio, "output.mp3")。
**本地部署（可選）：**為了獲得完全控制權，請下載模型權重和推理代碼。按照提供的文檔在您自己的硬件上設置基於 SGLang 的流式推理引擎。

嘗試不同的控制標籤和多聲語者配置，以獲得您所需的確切聲音表現。

用途

Fish Audio S2 的高級功能使其非常適合廣泛的應用程序：

**對話式 AI 與聊天機器人：**創建高度引人入勝且聽起來自然的虛擬助手和聊天機器人，它們可以傳達情感和個性，從而帶來更好的用戶體驗。
**遊戲與虛擬世界：**開發具有動態 NPC 對話的身臨其境的遊戲體驗，這些對話能真實地響應遊戲內事件和玩家互動。
**內容創作與配音：**製作具有逼真語調和情感的專業級配音、播客和有聲讀物。以最小的延遲實現視頻和直播的實時配音。
**輔助工具：**為視障用戶或有溝通困難的用戶構建高級文本轉語音應用程序，提供更自然、更易於理解的語音輸出。
**交互式語音響應（IVR）系統：**通過更像人類且更富表現力的語音提示來增強客戶服務 IVR 系統，從而提高呼叫者滿意度。

常見問題解答

什麼是 Fish Audio S2 Pro？ Fish Audio S2 Pro 是一款先進的文字轉語音模型，以其對韻律和情感的精細控制而聞名。它利用雙自回歸架構和 80 多種語言的大量訓練數據，提供高度逼真的語音。該版本包括模型權重、微調代碼和優化的推理引擎。

精細的內嵌控制是如何工作的？ S2 Pro 允許通過使用類似標籤的語法（例如 [pitch up]、[laughing]）將自然語言指令直接嵌入文本中來進行本地化語音控制。這支持在單詞級別進行開放式的表達控制，支持超過 15,000 個獨特的描述性標籤，以實現細膩的聲音表演。

S2 Pro 的性能指標是什麼？ 在高階 GPU 上，S2 Pro 的實時因子（RTF）低於 0.5，首次音頻生成時間約為 100 毫秒。其基於 SGLang 的推理引擎針對吞吐量和低延遲進行了高度優化，支持高級服務技術。

Fish Audio S2 的授權是什麼？ Fish Audio S2 在 Fish Audio 研究許可證下提供。研究和非商業用途是免費的。商業用途需要單獨的許可證；請聯繫 [email protected] 了解詳情。

S2 Pro 支持多少種語言？ S2 Pro 支持 80 多種語言，為英語、日語和中文提供頂級質量。它還為韓語、西班牙語、葡萄牙語、阿拉伯語、俄語、法語和德語等語言提供強大支持。

Fish Audio S2