Voxtral 3

Voxtral 3は、多言語音声文字起こし、表現豊かな音声合成、電話・Web会話向けリアルタイム音声エージェントSDKを統合。音声要求の理解やツール連携、自然な応答を行うアシスタントとワークフローを構築できます。

概要

Voxtral 3は、Mistralの音声認識・音声合成モデルファミリーと音声エージェントSDKを組み合わせた製品です。エージェントが音声を聞き、要求を解釈し、接続されたツールを使用して、音声で応答するリアルタイムの複数ステップ会話向けに設計されています。

50言語での文字起こし、35以上の言語と50以上の方言での表現豊かな音声生成に対応し、MistralのEUホスト型APIまたは組織独自のインフラストラクチャを通じてデプロイできます。想定される用途には、コンタクトセンターやサービスデスクのエージェント、バーチャルアシスタント、ハンズフリーコパイロットなどがあります。

主な機能

多言語文字起こし

Voxtral Small Transcribe 3とVoxtral Mini Transcribe 3は、24のEU公用語や、リソースの少ないアジア・インド系言語を含む50言語で、多言語音声認識に対応します。

話者ダイアライゼーションとコンテキスト認識

音声認識モデルは発話者と発言内容を識別し、発話者が話し終えたタイミングを検出します。また、キーフレーズや自由形式のコンテキストを受け付け、ファインチューニングなしで専門領域の用語の認識精度を高めます。

表現豊かな音声合成

Voxtral Mini TTS 3は、35以上の言語と50以上の方言で音声を生成し、会話の文脈に応じて感情、速度、強調を調整します。

リアルタイム音声エージェントオーケストレーション

音声エージェントSDKは、音声入力、モデルの推論、ツール呼び出し、音声出力をリアルタイムのストリーミングパイプラインでつなぎ、ライブインタラクションを実現します。

ツール対応ワークフロー

エージェントは、電話またはWeb会話中に接続されたツールを通じて、情報を取得し、業務システムと連携し、複数ステップのアクションを実行できます。

プロフェッショナル音声適応

製品ページによると、Pro Voice adaptationは30分の音声を使用して、言語をまたいで話者特有の声質、感情の幅、話し方を再現できます。

ユースケース

コンタクトセンターとサービスデスク
ライブサービスエージェントは、発信者の音声を文字起こしし、話者を区別し、発話の完了を検出し、接続された業務ツールを通じてアカウント情報や案件情報を取得し、複数ステップのアクションを完了できます。
会話型バーチャルアシスタント
組織は、音声による要求を処理し、コンテキストに基づいて推論し、会話中に速度、強調、感情を変化させた音声で応答するアシスタントを構築できます。
ハンズフリーコパイロット
音声インターフェースにより、ユーザーは運転中、施設内を移動中、その他手や目がふさがっている状況でもワークフローを操作できます。接続されたタスクはツール呼び出しで処理されます。
特定領域の会議・通話記録
チームは、コンテキストバイアス付きの多言語文字起こしを使用して、ファインチューニングなしで、技術、医療、運用などの専門用語を含む会話を記録できます。

Pros and Cons

Pros

文字起こし、推論、ツール呼び出し、音声生成を、1つのリアルタイム音声エージェントワークフローに統合できます。
50の文字起こし言語と、35以上のTTS言語および50以上の方言に対応します。
本番運用を意識した音声認識向けに、話者ダイアライゼーション、発話終了検出、コンテキストバイアスに対応します。
音声処理と保持を管理する必要がある組織向けに、EUホスト型APIとセルフデプロイの選択肢を提供します。
表現豊かなTTSと、言語をまたいだプロフェッショナル音声適応に対応します。

Cons

提供元の情報には、完全なセットアップ手順、SDKドキュメント、プラットフォーム互換性、統合の詳細が記載されていません。
料金が明記されているのはMini Transcribeモデルのみです。より広範なモデルファミリーとSDKの料金は確認が必要です。
実際のレイテンシー、精度、保持動作、運用要件は、選択したデプロイ方法と実装によって異なります。

FAQ

Voxtral 3とは何ですか？

Voxtral 3は、リアルタイムのストリーミング会話向けに音声認識モデルと音声合成モデルを組み合わせた、音声エージェントSDK付きのモデルファミリーです。SDKは、傾聴、推論、ツール呼び出し、発話を1つのワークフローに統合します。

Voxtral 3はどの言語に対応していますか？

音声認識モデルは50言語に対応しています。Voxtral Mini TTS 3は、35以上の言語と50以上の方言に対応しています。

Voxtral 3はどのようにデプロイできますか？

Voxtral 3は、MistralのEUホスト型API経由、または組織独自のインフラストラクチャへのセルフデプロイで利用できます。提供元の情報によると、デプロイ方法によって音声の処理場所や保持の有無が決まります。

Voxtralの音声エージェントは会話中に何ができますか？

SDKは電話またはWeb経由のライブ会話向けに設計されており、接続されたツールを通じて情報の取得、業務システムとの連携、複数ステップのアクションを実行できます。

Voxtral 3の料金はいくらですか？

音声認識APIは、Mistralの料金情報に基づき分単位で課金されます。製品ページでは、Voxtral Mini Transcribe 3について1分あたり$0.0035と明記されています。Voxtral 3ファミリー全体およびSDKの料金は、Mistralへの確認が必要です。

Quick Facts

カテゴリー: 音声AIおよび音声エージェントSDK
文字起こし対応言語数: 50
音声合成対応範囲: 35以上の言語と50以上の方言
デプロイ: Mistral EUホスト型APIまたはセルフデプロイ
文字起こし料金の例: Voxtral Mini Transcribe 3：1分あたり$0.0035
主なワークフロー: ツール対応アクションを伴う電話およびWeb会話

Voxtral 3の代替品

SpeakoFlow

SpeakoFlowは、Windows、macOS、Linux対応の無料・オープンソースのデスクトップ音声入力アプリ。あらゆるアプリに дикationでき、Flow、要約整理、翻訳、画面認識アシスタントにも対応。

Talkpal

Talkpalは、130以上の言語でスピーキング、リスニング、ライティング、発音を練習できるAI搭載の語学学習Web・モバイルアプリ。ガイド付きコースやロールプレイ、通話形式の会話練習に対応。

Flunkey

FlunkeyはWindows向けの音声入力中心の生産性レイヤー。話した内容をテキスト化し、AI支援の出力や記憶した文脈に変換。作業中のアプリを離れずに使えます。

PXZ AI

画像、動画、音声、ライティング、チャットのツールを統合したオールインワンAIプラットフォームで、創造性とコラボレーションを高めます。

Gemma AI

Gemma AIは、プッシュ通知の代わりに予定に合わせて電話でリマインドする通話型リマインダーアプリです。Googleカレンダー同期と会話形式の操作に対応。

CAMB.AI Streams

CAMB.AI Streams は、YouTube、Twitch、X などの配信でライブ音声を多言語にリアルタイム吹き替え。SRT、RTMP、HLS対応で既存のライブワークフローに接続し、後編集なしで多言語配信を実現します。