Mercury 3 icon

Mercury 3

Mercury 3 是 Inception 旗艦級擴散式大型語言模型,適合需快速回應、推理與長上下文處理的生產應用,支援 OpenAI 相容工作流程,應用於瀏覽器代理、教育、即時搜尋與客服等低延遲系統。

Mercury 3

Mercury 3 概覽

Mercury 3 是 Inception 推出的擴散式大型語言模型,適用於同時需要推理能力與低延遲回應的生產應用。它是 Inception Mercury 產品系列中的旗艦模型,定位為多步驟系統使用;在這類系統中,每個代理步驟等待模型輸出,都可能累積整體等待時間。

模型提供 100 萬 token 的上下文視窗,並公布在 NVIDIA GPU 上每秒 1,068 個 token 的速度。它可透過 Inception API Platform 及數種外部存取管道使用,並提供 OpenAI 相容 API,以配合現有的 LLM 應用程式。Inception 描述的使用情境包括瀏覽器代理、互動式教育、即時搜尋與客服。

主要功能

擴散式生成

模型透過由粗到細的擴散式程序生成內容,而不是逐一決定每個 token 的輸出,為生產工作流程提供快速推理能力。

高吞吐量推理

公開的基準數據是在 NVIDIA GPU 上每秒 1,068 個 token,網站則說明商用 GPU 部署可達每秒超過 1,000 個 token 的效能。

長上下文

Mercury 3 支援 100 萬 token 的上下文視窗,讓應用程式能提供遠大於 Mercury 2.5 所報告的 260,000 token 上下文的輸入。

相容的 API 工作流程

模型相容於 OpenAI API,並透過 AISuite、LiteLLM 和 LangChain 提供支援,降低連接現有應用程式所需的變更幅度。

多種部署管道

模型可透過 Inception API Platform,以及包括 OpenRouter、Baseten 和 Vercel 在內的第三方存取管道使用。企業管道包括 AWS Bedrock 和 Azure Foundry。

生產環境運作

企業部署可使用專用容量、自動擴展、可設定的資料保留期限、合規控制與服務等級協議,實際內容取決於所選方案。

使用情境

  • 瀏覽器與網頁導覽代理

    瀏覽器使用代理可在每次導覽、研究或日誌分析步驟呼叫模型。更快的回應可減少多步驟代理工作流程中累積的等待時間。

  • 互動式教育

    家教與教育產品可使用模型提供對話式語音協助、評分、提示、定義與自適應回應,讓學生在需要時立即獲得回饋。

  • 即時搜尋

    搜尋系統可處理文件並在使用者仍持續參與時返回答案。Inception 列舉的應用包括即時搜尋代理與智慧眼鏡體驗。

  • 客服

    客服系統可使用 Mercury 3 在聊天、語音與電子郵件中提供對話式回應,包括重視回應準確度與任務完成度的工作流程。

  • 生產級 LLM 應用程式

    建構生產級 AI 應用程式的團隊可透過 OpenAI 相容 API 連接,或在需要容量、擴展、治理或資料保留控制時,採用企業部署管道。

Pros and Cons

Pros

  • 公開的推理速度很快,在 NVIDIA GPU 上達到每秒 1,068 個 token。
  • 100 萬 token 的上下文視窗,適合大型提示與多文件工作流程。
  • 相容於 OpenAI API,並支援 AISuite、LiteLLM 和 LangChain。
  • 可透過 Inception API Platform、模型路由服務、雲端平台與企業部署管道存取。
  • 企業選項包括專用容量、自動擴展、可設定的資料保留期限與合規控制。

Cons

  • 公開的效能與品質數據是基準測試或合作夥伴回報的結果,可能因工作負載、服務設定與應用程式設計而異。
  • 來源未提供模型限制、支援的模態,或其在各類任務中的輸出可靠性的詳細資訊。
  • 上市價格屬於促銷方案,因此不應假設折扣後的費率會永久維持。

FAQ

Mercury 3 是什麼?

Mercury 3 是專為需要快速回應與推理能力的生產應用而設計的擴散式大型語言模型。

團隊如何存取 Mercury 3?

Mercury 3 可透過 Inception API Platform,以及 OpenRouter、Baseten 和 Vercel 取得。企業部署選項還包括 AWS Bedrock 和 Azure Foundry;模型路由服務則包括 OpenRouter 和 Models.dev。

Mercury 3 能整合至現有的 LLM 技術堆疊嗎?

Mercury 3 相容於 OpenAI API,並可透過 AISuite、LiteLLM 和 LangChain 等函式庫使用。來源也將其描述為傳統 LLM 工作流程的即插即用替代方案。

Mercury 3 的定價如何?

公開的標準價格為每百萬個輸入 token $0.20,以及每百萬個輸出 token $0.70。網站列出的上市優惠為 50% 折扣,因此價格分別為 $0.10 和 $0.35;快取輸入 token 的價格為每百萬個 $0.02,上市優惠期間則為 $0.01。

提供哪些企業控制功能?

企業部署支援專用容量、自動擴展、合規控制、可設定的資料保留期限、服務等級協議與支援選項。企業版頁面表示,提示與輸出會被視為客戶資料,且不會用於訓練。

Quick Facts

類別
AI 模型/開發者工具
模型類型
擴散式大型語言模型
上下文視窗
100 萬 token
公開速度
在 NVIDIA GPU 上每秒 1,068 個 token
API 相容性
OpenAI 相容
主要工作流程
瀏覽器代理、教育、即時搜尋與客服