多语言转录
Voxtral Small Transcribe 3 和 Voxtral Mini Transcribe 3 支持 50 种语言的多语言语音识别，包括 24 种欧盟官方语言以及资源较少的亚洲和印度语言。
概览
Voxtral 3 是 Mistral 的语音转文本和文本转语音模型系列，并配有语音代理 SDK。它专为实时多步骤对话而设计，在这类对话中，代理会聆听、理解请求、使用连接的工具并通过语音进行回应。
该产品支持 50 种语言的转录、35 种以上语言和 50 多种方言的富有表现力的语音生成，并可通过 Mistral 的欧盟托管 API 或组织自己的基础设施进行部署。其目标应用包括联络中心和服务台代理、虚拟助手以及免手操作的副驾驶。
核心功能
说话人分离与上下文识别
转录模型可以识别每句话由哪位说话者说出，检测说话者何时结束发言，并接受关键词短语或自由格式上下文，以便在无需微调的情况下提升领域术语的识别效果。
富有表现力的文本转语音
Voxtral Mini TTS 3 支持 35 种以上的语言和 50 多种方言生成语音，并根据对话上下文调整情绪、语速和重音。
实时语音代理编排
语音代理 SDK 将音频输入、模型推理、工具调用和语音输出连接到实时流式处理管道中，用于实时交互。
工具支持的工作流
代理可以在电话或网页对话期间通过连接的工具检索信息、与业务系统交互并执行多步骤操作。
专业语音适配
根据产品页面，Pro Voice 适配可以使用 30 分钟的音频，在不同语言中复现说话者独特的声音特征、情感范围和说话风格。
使用场景
联络中心和服务台
实时服务代理可以转录来电内容、区分说话者、检测发言回合结束、检索账户或案件信息，并通过连接的业务工具完成多步骤操作。
对话式虚拟助手
组织可以构建能够处理语音请求、基于上下文进行推理，并在交流过程中调整语速、重音和情绪的语音助手。
免手操作的副驾驶
语音界面可以让用户在驾驶、穿行于设施中或双手和视线被占用时操作工作流，并通过工具调用处理连接的任务。
特定领域的会议和通话记录
团队可以使用带有上下文偏置的多语言转录，记录包含技术、医疗、运营或其他专业术语的对话，而无需微调模型。
Pros and Cons
Pros
- 在单一的实时语音代理工作流中整合转录、推理、工具调用和语音生成。
- 支持 50 种转录语言，以及 35 种以上的 TTS 语言和 50 多种方言。
- 提供说话人分离、回合结束检测和上下文偏置功能，适用于面向生产环境的语音识别。
- 提供欧盟托管 API 和自行部署选项，适合需要控制音频处理和保留方式的组织。
- 支持跨语言的富有表现力的 TTS 和专业语音适配。
Cons
- 来源未提供完整的设置说明、SDK 文档、平台兼容性或集成细节。
- 目前仅明确列出了 Mini Transcribe 模型的价格；更广泛的模型系列和 SDK 的费用需要确认。
- 实际延迟、准确率、保留行为和运营要求将取决于所选的部署方式和具体实现。
FAQ
什么是 Voxtral 3？
Voxtral 3 是一系列语音转文本和文本转语音模型，搭配用于实时流式对话的语音代理 SDK。该 SDK 将聆听、推理、工具调用和语音输出整合到一个工作流中。
Voxtral 3 支持哪些语言？
转录模型支持 50 种语言。Voxtral Mini TTS 3 支持 35 种以上的语言和 50 多种方言。
如何部署 Voxtral 3？
Voxtral 3 可通过 Mistral 的欧盟托管 API 使用，也可以部署在组织自己的基础设施上。来源称，部署方式会影响音频处理的位置以及音频是否被保留。
Voxtral 语音代理在对话过程中可以做什么？
该 SDK 面向电话或网页上的实时对话而设计，可通过连接的工具检索信息、与业务系统交互并完成多步骤操作。
Voxtral 3 如何定价？
转录 API 按分钟计费，具体价格见 Mistral 的定价信息。产品页面明确列出 Voxtral Mini Transcribe 3 的价格为每分钟 0.0035 美元；完整 Voxtral 3 系列和 SDK 的定价应向 Mistral 确认。
Quick Facts
- 类别
- 语音 AI 和语音代理 SDK
- 转录语言
- 50 种
- 文本转语音覆盖范围
- 35 种以上的语言和 50 多种方言
- 部署方式
- Mistral 欧盟托管 API 或自行部署
- 转录定价示例
- Voxtral Mini Transcribe 3：每分钟 0.0035 美元
- 主要工作流
- 通过电话和网页对话执行工具支持的操作
Voxtral 3 替代品
SpeakoFlow
SpeakoFlow 是一款适用于 Windows、macOS 和 Linux 的免费开源桌面语音转文字应用，支持在任意应用中口述输入、Flow 语音写作、文本清理、翻译和屏幕感知助手。
Talkpal
Talkpal 是一款 AI 语言学习 Web 和移动应用，支持口语、听力、写作和发音练习，提供 130+ 种语言的课程、角色扮演和电话式对话练习。
Flunkey
Flunkey 是适用于 Windows 的语音优先效率工具层，可将语音转为文本、AI 辅助输出和可记忆上下文，帮助你在当前应用中捕捉想法与待办。
PXZ AI
一个集成图像、视频、语音、写作和聊天工具的全能AI平台，以增强创造力和协作。
Gemma AI
Gemma AI 是一款电话提醒应用，会按计划给你打电话提醒，而不是推送通知。支持 Google Calendar 同步与自然对话式通话交互，帮助你更直接地按时安排。
CAMB.AI Streams
CAMB.AI Streams 可为 YouTube、Twitch、X 等直播平台提供多语言实时配音，接入现有直播流程，支持常用流媒体协议，无需后期制作。