Voxtral TTS icon

Voxtral TTS

Voxtral TTS 是 Mistral 的文字轉語音模型,支援多語言、擬真語音與低延遲輸出,適用於語音代理與企業語音流程,並可透過 Mistral Studio、Le Chat、API 與 Hugging Face 開放權重使用。

Voxtral TTS

概覽

Voxtral TTS 是 Mistral 首款文字轉語音模型,並以開放權重系統的形式發表,用於多語言語音生成。它旨在將文字轉換為適用於語音代理與其他語音介面的擬真語音,重點放在自然度、低延遲與容易適應新聲音。

Mistral 將此模型定位於企業語音流程,兼顧品質與速度。公告重點包括支援九種語言、富有情感表達的語音、可由短參考音訊進行自訂聲音適應,以及可透過 Mistral Studio、Le Chat、API 與 Hugging Face 上的開放權重存取。

功能

多語言語音生成

可生成真實、富有情感表達的語音,並定位為支援 9 種語言的多語言語音生成。

即時聲音適應

支援從短參考音訊進行自訂聲音適應,包含口音、語調、停頓及其他說話細節。

低延遲輸出

為低延遲串流而設計,據稱在一般 10 秒語音樣本與 500 個字元的情境下,模型延遲為 70 毫秒。

精簡模型大小

採用精簡的 4B 參數模型規模,Mistral 表示這有助於讓語音代理部署在大規模下保持自然且具成本效益。

跨語言聲音提示

支援跨語言聲音提示,並可使用另一種語言的聲音提示,以一種語言生成語音。

Studio 與 API 存取

可在 Mistral Studio 中測試,而來源也指出 API 包含預設聲音,並可擴充至內部聲音庫。

使用情境

  • 語音代理

    為需要自然、富有表達力的語音輸出,而非平淡文字朗讀的助理與代理生成語音回應。

  • 多語言本地化

    在維持與參考聲音或口音一致的同時,將面向客戶的音訊本地化為支援的語言。

  • 跨語言翻譯

    建立語音到語音翻譯流程,讓生成結果在變更語言的同時保留來源聲音的特徵。

  • 聲音原型設計

    在將模型接入正式系統前,先於 Mistral Studio 測試語音參考,以原型開發或調整品牌專屬的內部聲音。

  • 企業語音管線

    使用 API 或開放權重,將語音輸出加入現有的 LLM 或語音轉文字流程,而不必替換整個技術堆疊。

Pros and Cons

Pros

  • 支援九種主要語言與數種方言,適合多語言語音生成。
  • 可從短參考樣本適應自訂聲音,並保留節奏與語調等說話風格細節。
  • 強調低延遲,適合語音代理使用情境與串流輸出。
  • 提供多種存取方式,包括 Mistral Studio、Le Chat、API 使用,以及 Hugging Face 上的開放權重。
  • 針對跨語言聲音適應而設計,可支援語音到語音的翻譯流程。

Cons

  • 產品頁對於除了 Mistral Studio、Le Chat、API 與 Hugging Face 可用性之外的整合模式,公開資訊有限。
  • 公告未提供 Voxtral TTS 完整的定價方案細節,只提到 API 費率。
  • 開放權重版本據稱以 CC BY NC 4.0 提供,若要用於某些商業用途,可能需要先確認條款是否適用。

FAQ

如何存取 Voxtral TTS?

Voxtral TTS 目前可透過 API 使用,Mistral 也表示可在 Mistral Studio 與 Le Chat 中試用。

Voxtral TTS 支援哪些語言?

來源指出它支援 9 種語言:英語、法語、德語、西班牙語、荷蘭語、葡萄牙語、義大利語、印地語和阿拉伯語。

Voxtral TTS 需要多少參考音訊?

此模型描述為可接受約 5 到 25 秒的語音提示與文字提示。Mistral 也表示,它可使用最少 3 秒的參考音訊來適應自訂聲音。

Voxtral TTS 可以生成長篇音訊片段嗎?

公告指出,API 透過智慧交錯可處理任意長度的生成,而模型本身原生最多可生成兩分鐘的音訊。

Voxtral TTS 是開放權重嗎?

Mistral 表示,具有多個參考聲音的模型可在 Hugging Face 上以開放權重形式提供,並採用 CC BY NC 4.0 授權。

Quick Facts

類別
文字轉語音
產品
Voxtral TTS
供應商
Mistral AI
來源網域
mistral.ai
語言
英語、法語、德語、西班牙語、荷蘭語、葡萄牙語、義大利語、印地語、阿拉伯語
存取方式
API、Mistral Studio、Le Chat、Hugging Face 上的開放權重