擴散式生成
模型透過由粗到細的擴散式程序生成內容,而不是逐一決定每個 token 的輸出,為生產工作流程提供快速推理能力。
Mercury 3 是 Inception 推出的擴散式大型語言模型,適用於同時需要推理能力與低延遲回應的生產應用。它是 Inception Mercury 產品系列中的旗艦模型,定位為多步驟系統使用;在這類系統中,每個代理步驟等待模型輸出,都可能累積整體等待時間。
模型提供 100 萬 token 的上下文視窗,並公布在 NVIDIA GPU 上每秒 1,068 個 token 的速度。它可透過 Inception API Platform 及數種外部存取管道使用,並提供 OpenAI 相容 API,以配合現有的 LLM 應用程式。Inception 描述的使用情境包括瀏覽器代理、互動式教育、即時搜尋與客服。
模型透過由粗到細的擴散式程序生成內容,而不是逐一決定每個 token 的輸出,為生產工作流程提供快速推理能力。
公開的基準數據是在 NVIDIA GPU 上每秒 1,068 個 token,網站則說明商用 GPU 部署可達每秒超過 1,000 個 token 的效能。
Mercury 3 支援 100 萬 token 的上下文視窗,讓應用程式能提供遠大於 Mercury 2.5 所報告的 260,000 token 上下文的輸入。
模型相容於 OpenAI API,並透過 AISuite、LiteLLM 和 LangChain 提供支援,降低連接現有應用程式所需的變更幅度。
模型可透過 Inception API Platform,以及包括 OpenRouter、Baseten 和 Vercel 在內的第三方存取管道使用。企業管道包括 AWS Bedrock 和 Azure Foundry。
企業部署可使用專用容量、自動擴展、可設定的資料保留期限、合規控制與服務等級協議,實際內容取決於所選方案。
瀏覽器使用代理可在每次導覽、研究或日誌分析步驟呼叫模型。更快的回應可減少多步驟代理工作流程中累積的等待時間。
家教與教育產品可使用模型提供對話式語音協助、評分、提示、定義與自適應回應,讓學生在需要時立即獲得回饋。
搜尋系統可處理文件並在使用者仍持續參與時返回答案。Inception 列舉的應用包括即時搜尋代理與智慧眼鏡體驗。
客服系統可使用 Mercury 3 在聊天、語音與電子郵件中提供對話式回應,包括重視回應準確度與任務完成度的工作流程。
建構生產級 AI 應用程式的團隊可透過 OpenAI 相容 API 連接,或在需要容量、擴展、治理或資料保留控制時,採用企業部署管道。
Mercury 3 是專為需要快速回應與推理能力的生產應用而設計的擴散式大型語言模型。
Mercury 3 可透過 Inception API Platform,以及 OpenRouter、Baseten 和 Vercel 取得。企業部署選項還包括 AWS Bedrock 和 Azure Foundry;模型路由服務則包括 OpenRouter 和 Models.dev。
Mercury 3 相容於 OpenAI API,並可透過 AISuite、LiteLLM 和 LangChain 等函式庫使用。來源也將其描述為傳統 LLM 工作流程的即插即用替代方案。
公開的標準價格為每百萬個輸入 token $0.20,以及每百萬個輸出 token $0.70。網站列出的上市優惠為 50% 折扣,因此價格分別為 $0.10 和 $0.35;快取輸入 token 的價格為每百萬個 $0.02,上市優惠期間則為 $0.01。
企業部署支援專用容量、自動擴展、合規控制、可設定的資料保留期限、服務等級協議與支援選項。企業版頁面表示,提示與輸出會被視為客戶資料,且不會用於訓練。