拡散ベースの生成
モデルは、出力を1トークンずつ確定するのではなく、拡散ベースの粗い段階から細かい段階へ進むプロセスで生成し、本番ワークフロー向けの高速な推論を実現します。
Mercury 3は、推論と低レイテンシの応答を同時に必要とする本番アプリケーション向けの、Inceptionによる拡散型大規模言語モデルです。InceptionのMercuryポートフォリオにおけるフラッグシップモデルであり、モデル出力を待つ時間がエージェントの各ステップで積み重なる可能性のある、複数ステップのシステム向けに位置付けられています。
このモデルは100万トークンのコンテキストウィンドウを提供し、NVIDIA GPU上で毎秒1,068トークンを報告しています。Inception API Platformおよび複数の外部アクセス経路から利用でき、既存のLLMアプリケーションに組み込みやすいOpenAI互換APIを備えています。Inceptionが挙げるユースケースには、ブラウザエージェント、インタラクティブ教育、リアルタイム検索、カスタマーサポートがあります。
モデルは、出力を1トークンずつ確定するのではなく、拡散ベースの粗い段階から細かい段階へ進むプロセスで生成し、本番ワークフロー向けの高速な推論を実現します。
公開ベンチマーク値は、NVIDIA GPU上で毎秒1,068トークンです。サイトでは、商用GPU環境で毎秒1,000トークンを超える性能と説明されています。
Mercury 3は100万トークンのコンテキストウィンドウに対応し、Mercury 2.5で報告されている26万トークンのコンテキストよりも大幅に大きな入力をアプリケーションから提供できます。
モデルはOpenAI API互換で、AISuite、LiteLLM、LangChainを通じて利用できます。既存アプリケーションとの接続に必要な変更を抑えられます。
モデルはInception API Platformに加え、OpenRouter、Baseten、Vercelなどのサードパーティ経由でも利用できます。エンタープライズ向けの経路にはAWS BedrockとAzure Foundryが含まれます。
エンタープライズ環境では、選択した契約内容に応じて、専用キャパシティ、オートスケーリング、設定可能なデータ保持期間、コンプライアンス管理、サービスレベル契約を利用できます。
ブラウザ利用エージェントは、ナビゲーション、調査、ログ分析の各ステップでモデルを呼び出せます。応答が速くなることで、複数ステップのエージェントワークフロー全体で蓄積する待ち時間を短縮できます。
チュータリングや教育関連の製品では、学生がすぐにフィードバックを必要とする場面で、会話型の音声アシスタンス、採点、ヒント、定義、適応型応答にモデルを利用できます。
検索システムは、ユーザーが利用を続けている間に文書を処理し、回答を返せます。Inceptionは、リアルタイム検索エージェントやスマートグラス体験などのアプリケーションを挙げています。
サポートシステムでは、チャット、音声、メールを通じた会話型応答にMercury 3を利用できます。応答の正確性とタスク完了が重要なワークフローにも対応します。
本番AIアプリケーションを構築するチームは、OpenAI互換APIを通じて接続したり、キャパシティ、スケーリング、ガバナンス、データ保持管理が必要な場合にエンタープライズ向けデプロイ経路を利用したりできます。
Mercury 3は、高速な応答と推論能力を必要とする本番アプリケーション向けに設計された、拡散型大規模言語モデルです。
Inception API Platform、OpenRouter、Baseten、Vercelから利用できます。エンタープライズ向けのデプロイ विकल्पにはAWS BedrockとAzure Foundryも含まれ、モデルルーターとしてはOpenRouterとModels.devも利用できます。
Mercury 3はOpenAI API互換で、AISuite、LiteLLM、LangChainなどのライブラリを通じて利用できます。また、従来のLLMワークフローのドロップイン置換としても説明されています。
公開されている標準価格は、入力トークン100万個あたり$0.20、出力トークン100万個あたり$0.70です。ローンチ時には50%割引が掲載されており、それぞれ$0.10と$0.35になります。キャッシュ済み入力トークンは100万個あたり$0.02、ローンチ割引適用時は$0.01と記載されています。
エンタープライズ向けデプロイでは、専用キャパシティ、オートスケーリング、コンプライアンス管理、設定可能なデータ保持期間、サービスレベル契約、サポートオプションに対応しています。エンタープライズページでは、プロンプトと出力は顧客データとして扱われ、トレーニングには使用されないと記載されています。