多語語音轉錄
Voxtral Small Transcribe 3 與 Voxtral Mini Transcribe 3 支援 50 種語言的多語語音辨識，其中包括 24 種歐盟官方語言，以及資源較少的亞洲與印度語系語言。
概覽
Voxtral 3 是 Mistral 的語音轉文字與文字轉語音模型系列，並搭配語音代理 SDK。它專為即時、多步驟對話而設計，代理能在其中聆聽、解讀請求、使用串接的工具，並以語音回應。
此產品支援 50 種語言的轉錄、超過 35 種語言及 50 多種方言的具表現力語音生成，並可透過 Mistral 的歐盟託管 API 或組織自有的基礎架構部署。其預定應用包括聯絡中心與服務台代理、虛擬助理，以及免持式副駕。
核心能力
說話者分離與上下文辨識
轉錄模型能辨識每段話由哪位說話者發出、偵測說話者何時結束發言，並接受關鍵詞組或自由格式的上下文，以改善特定領域術語的辨識，且不需要微調。
具表現力的文字轉語音
Voxtral Mini TTS 3 支援超過 35 種語言及 50 多種方言的語音生成，並能根據對話上下文調整情緒、語速與重音。
即時語音代理協調
語音代理 SDK 將音訊輸入、模型推理、工具呼叫與語音輸出串連成即時串流管線，用於即時互動。
支援工具的工作流程
代理可在電話或網頁對話期間透過串接工具擷取資訊、與業務系統互動，並執行多步驟操作。
專業語音調適
根據產品頁面，Pro Voice adaptation 可使用 30 分鐘的音訊，在不同語言中重現說話者獨特的聲音特質、情感範圍與說話風格。
使用案例
聯絡中心與服務台
即時服務代理可轉錄來電內容、區分說話者、偵測發言輪次結束、擷取帳戶或案件資訊，並透過串接的業務工具完成多步驟操作。
對話式虛擬助理
組織可以打造能處理語音請求、根據上下文進行推理，並在交流過程中調整語速、重音與情緒來回應的語音助理。
免持式副駕
語音介面可讓使用者在駕駛、穿梭於設施中，或在其他雙手與視線均被占用的情況下操作工作流程，並透過工具呼叫處理串接的任務。
特定領域的會議與通話擷取
團隊可以運用具上下文偏置功能的多語轉錄，記錄包含技術、醫療、營運或其他專業術語的對話，且不需要微調模型。
Pros and Cons
Pros
- 在單一即時語音代理工作流程中，整合轉錄、推理、工具呼叫與語音生成。
- 支援 50 種轉錄語言，以及超過 35 種 TTS 語言與 50 多種方言。
- 包含說話者分離、對話輪次結束偵測與上下文偏置功能，適合面向正式環境的語音辨識。
- 提供歐盟託管 API 與自行部署選項，適合需要掌控音訊處理與保留方式的組織。
- 支援跨語言的具表現力 TTS 與專業語音調適。
Cons
- 來源未提供完整的設定方式、SDK 文件、平台相容性或整合詳細資訊。
- 目前僅指定 Mini Transcribe 模型的價格；更廣泛的模型系列與 SDK 成本仍需確認。
- 實際延遲、準確度、保留行為與營運需求將取決於所選的部署方式與實作。
FAQ
Voxtral 3 是什麼？
Voxtral 3 是一系列語音轉文字與文字轉語音模型，搭配可進行即時串流對話的語音代理 SDK。此 SDK 將聆聽、推理、工具呼叫與語音回應整合在單一工作流程中。
Voxtral 3 支援哪些語言？
轉錄模型支援 50 種語言。Voxtral Mini TTS 3 支援超過 35 種語言及 50 多種方言。
Voxtral 3 如何部署？
Voxtral 3 可透過 Mistral 的歐盟託管 API 使用，也可部署在組織自有的基礎架構上。來源指出，部署方式可能決定音訊在哪裡處理，以及是否會被保留。
Voxtral 語音代理能在對話期間做什麼？
此 SDK 專為電話或網頁上的即時對話而設計，能透過串接的工具擷取資訊、與業務系統互動，並完成多步驟操作。
Voxtral 3 如何計價？
轉錄 API 在 Mistral 的定價資訊中按分鐘計費。產品頁面特別列出 Voxtral Mini Transcribe 3 的價格為每分鐘 0.0035 美元；完整 Voxtral 3 系列與 SDK 的定價應向 Mistral 確認。
Quick Facts
- 類別
- 語音 AI 與語音代理 SDK
- 轉錄語言
- 50 種
- 文字轉語音涵蓋範圍
- 超過 35 種語言及 50 多種方言
- 部署方式
- Mistral 歐盟託管 API 或自行部署
- 轉錄計費範例
- Voxtral Mini Transcribe 3：每分鐘 0.0035 美元
- 主要工作流程
- 透過工具執行操作的電話與網頁對話
Voxtral 3 替代品
SpeakoFlow
SpeakoFlow 是適用於 Windows、macOS 與 Linux 的免費開源桌面語音轉文字應用，支援對任何 App 進行聽寫、Flow 語音寫作、AI 清理、翻譯與螢幕感知助理。
Talkpal
Talkpal 是一款 AI 語言學習網頁與手機應用，提供口說、聽力、寫作與發音練習；具引導式課程、角色扮演與對話式通話練習，支援 130+ 種語言。
Flunkey
Flunkey 是 Windows 的語音優先生產力工具，將口說內容轉成文字、AI 輔助輸出與可記住的上下文，讓你在不離開當前應用程式的情況下快速記錄想法與待辦。
PXZ AI
一個集成圖像、視頻、語音、寫作和聊天工具的全能AI平台，以增強創造力和協作。
Gemma AI
Gemma AI 是一款電話提醒 app，會依排程直接致電提醒你，不靠推播通知。支援 Google Calendar 同步與自然對話互動，讓你更直接掌握行程。
CAMB.AI Streams
CAMB.AI Streams 可即時為直播多語配音，支援 YouTube、Twitch、X 等平台，並可透過常見串流協定無縫接入既有直播流程，免去後製步驟。