端到端語音轉語音處理
語音辨識、輪流發言、語言模型行為與語音輸出會在單一 Realtime 模型中共同調校，而不是分別選擇。
什麼是 Eleven Realtime？
Eleven Realtime 是用於打造低延遲語音代理的語音轉語音模型系列。它將語音辨識、輪流發言、LLM 與文字轉語音整合於端到端系統中，因此建構者只需選擇 Realtime 模型，不必分別設定這些元件。
此產品可透過 ElevenAgents 與相容 OpenAI 的 Realtime API 使用。V1 Mini 適合自然對話，而 v1 Max 則 предназначен於需要推理與多步驟工具操作的複雜任務。代理可配備語音、知識庫、防護規則、工具及多通路部署。
主要功能
兩種對話模式
V1 Mini 適合自然且富有表現力的來回對話；v1 Max 則會在回應前進行推理，以處理複雜指令與多步驟工具操作。
多通路部署
根據產品頁面，ElevenAgents 可在電話、網頁小工具、WhatsApp 與客服中心平台上使用同一個代理。
代理控制與監控
代理可設定知識庫、防護規則、腳本化情境測試，以及正式環境的對話監控。
相容 OpenAI 的 API
此 API 與 OpenAI 的 Realtime API 相容，包括相應的 client 與 server 事件，因此可以保留現有的處理程式與工具。
語音與語言選擇
根據產品頁面，此產品支援擁有超過 17,500 種語音的語音庫，以及超過 90 種語言的即時對話。
使用情境
AI 助理
使用 v1 Mini 打造能以自然節奏及富有表現力的語音輸出處理快速提問與打斷的助理，適合以對話為主的互動。
教育家教
建立語音家教或引導式學習體驗，讓代理能以對話方式解釋主題，並回應學生的後續問題。
客戶支援
針對需要審慎回應、存取工具或以多步驟處理客戶需求的支援互動，使用 v1 Max。
潛在客戶資格判定
透過語音對話判定潛在客戶資格，使用專為複雜商務互動與工具呼叫設計的模型。
互動式角色
開發能維持語音對話，並在來回交流中做出反應的互動式虛構或遊戲角色。
Pros and Cons
Pros
- 將語音辨識、輪流發言、語言模型行為與語音輸出整合為單一受管理的模型選擇。
- 提供分別適用於低延遲自然對話及更複雜推理工作流程的模型。
- 提供相容 OpenAI 的 API，可保留現有的 client 事件處理與工具。
- 支援代理知識庫、防護規則、腳本化測試、監控，以及跨多個通路部署。
Cons
- Realtime 模型是為語音代理設計，不適合純文字代理。
- 可用性正在依工作區逐步推出，且文件列出部分資料駐留與合規設定的模型特定限制。
- 根據提供的證據，Realtime 專屬的詳細定價與配額尚未確立。
FAQ
如何設定 Eleven Realtime？
Eleven Realtime 可在 ElevenAgents 中使用，也可透過 Realtime API 使用。在 ElevenAgents 中，將代理的 Voice 模式設為 Realtime，選擇 v1 Mini 或 v1 Max，設定語音與代理選項，然後發布代理。API 使用者可以透過變更端點與模型名稱，使用相容 OpenAI 的 Realtime client。
Realtime v1 Mini 與 v1 Max 有什麼差異？
V1 Mini 是預設、成本較低且延遲較低的選項，適合助理、家教與互動角色等自然對話。V1 Max 適用於複雜指令、推理與多步驟工具操作，包括客戶支援與潛在客戶資格判定。
我可以使用現有的 OpenAI Realtime API client 嗎？
Realtime API 與 OpenAI 的 Realtime API 相容。現有 client 可以將其 WebSocket 傳輸指向 ElevenLabs，選擇 Realtime 模型與語音，並保留為相容 API 建立的事件處理、日誌記錄與工具。
什麼時候應該使用 Custom 模式，而不是 Realtime 模式？
Realtime 模型適用於語音對話。當代理需要自訂 LLM、Amazon Bedrock、Speech Engine、特定的 LLM 或 TTS 模型、覆寫受管理設定的工作流程、與 Custom 模式代理互相轉接，或需要純文字操作時，請改用 Custom 模式。
是否有工作區或部署方面的限制？
Realtime 模型正在逐步推出。如果代理的儀表板中未顯示 Realtime 模式，可能代表該工作區尚未取得使用權限。文件也列出資料駐留環境，以及隱私或醫療保健需求的模型特定可用性限制。
Quick Facts
- 類別
- 語音 AI／語音轉語音
- 使用方式
- ElevenAgents 與 ElevenLabs Realtime API
- 模型
- Eleven Realtime v1 Mini 與 v1 Max
- 支援的對話語言
- 90+ 種語言
- 語音庫
- 產品頁面所述的 17,500+ 種語音
- API 相容性
- 相容 OpenAI Realtime API