Mercury 3 icon

Mercury 3

Mercury 3 是 Inception 面向生产应用推出的旗舰扩散式大语言模型,支持快速响应、推理与百万级长上下文处理,兼容 OpenAI 工作流,适用于浏览器代理、教育、实时搜索、客服等低延迟场景。

Mercury 3

Mercury 3 概览

Mercury 3 是 Inception 面向生产应用推出的基于扩散的大语言模型,适用于同时需要推理能力和低延迟响应的场景。它是 Inception Mercury 产品系列中的旗舰模型,面向多步骤系统设计,在这类系统中,等待模型输出的时间可能会随着代理步骤累积。

该模型提供百万级 token 上下文窗口,并报告在 NVIDIA GPU 上达到每秒 1,068 个 token。它可通过 Inception API Platform 及多个外部访问渠道使用,并提供兼容 OpenAI 的 API,旨在适配现有 LLM 应用。Inception 所描述的使用场景包括浏览器代理、交互式教育、实时搜索和客服。

主要功能

基于扩散的生成

该模型采用基于扩散的由粗到细的生成过程,而不是逐个 token 确定输出,从而支持生产工作流中的快速推理。

高吞吐量推理

公布的基准数据是在 NVIDIA GPU 上达到每秒 1,068 个 token,网站称商业 GPU 部署的性能超过每秒 1,000 个 token。

长上下文

Mercury 3 支持百万级 token 上下文窗口,使应用能够提供远大于 Mercury 2.5 所报告的 260,000 个 token 上下文的输入。

兼容 API 的工作流

该模型兼容 OpenAI API,并支持 AISuite、LiteLLM 和 LangChain,从而减少连接现有应用所需的改动。

多种部署渠道

该模型可通过 Inception API Platform 以及包括 OpenRouter、Baseten 和 Vercel 在内的第三方访问渠道使用。企业渠道包括 AWS Bedrock 和 Azure Foundry。

生产运营

企业部署可使用专用容量、自动扩缩容、可配置的数据保留、合规控制和服务级别协议,具体取决于所选方案。

使用场景

  • 浏览器和网页导航代理

    浏览器使用代理可以在每次导航、研究或日志分析步骤中调用该模型。更快的响应可减少多步骤代理工作流中累积的等待时间。

  • 交互式教育

    辅导和教育产品可以使用该模型提供对话式语音辅助、评分、提示、定义解释和自适应响应,以便在学生需要时立即提供反馈。

  • 实时搜索

    搜索系统可以处理文档并在用户保持参与的同时返回答案。Inception 提到的应用包括实时搜索代理和智能眼镜体验。

  • 客户支持

    客服系统可以使用 Mercury 3 通过聊天、语音和电子邮件提供对话式响应,适用于重视响应准确性和任务完成情况的工作流。

  • 生产级 LLM 应用

    构建生产级 AI 应用的团队可以通过兼容 OpenAI 的 API 连接,或在需要容量、扩展、治理或数据保留控制时使用企业部署渠道。

Pros and Cons

Pros

  • 在 NVIDIA GPU 上公布的推理速度达到每秒 1,068 个 token,速度较快。
  • 百万级 token 上下文窗口,适合大型提示词和多文档工作流。
  • 兼容 OpenAI API,并支持 AISuite、LiteLLM 和 LangChain。
  • 可通过 Inception API Platform、模型路由服务、云平台和企业部署渠道访问。
  • 企业选项包括专用容量、自动扩缩容、可配置的数据保留和合规控制。

Cons

  • 公布的性能和质量数据来自基准测试或合作伙伴报告的结果,可能因工作负载、服务配置和应用设计而有所不同。
  • 来源未提供关于模型限制、支持的模态或每项任务输出可靠性的详细信息。
  • 上线价格属于促销价格,因此不应假定折后价格永久有效。

FAQ

Mercury 3 是什么?

Mercury 3 是一款基于扩散的​​大语言模型,专为需要快速响应和推理能力的生产应用而设计。

团队如何访问 Mercury 3?

Mercury 3 可通过 Inception API Platform 以及 OpenRouter、Baseten 和 Vercel 使用。企业部署选项还包括 AWS Bedrock 和 Azure Foundry,模型路由服务包括 OpenRouter 和 Models.dev。

Mercury 3 能否接入现有的 LLM 技术栈?

Mercury 3 兼容 OpenAI API,并可通过 AISuite、LiteLLM 和 LangChain 等库使用。来源还将其描述为传统 LLM 工作流的即插即用替代方案。

Mercury 3 如何定价?

公布的标准价格为每百万个输入 token 0.20 美元、每百万个输出 token 0.70 美元。上线时网站列出 50% 的折扣,折后价格分别为 0.10 美元和 0.35 美元;缓存输入 token 的价格为每百万个 0.02 美元,享受上线折扣时为 0.01 美元。

提供哪些企业控制功能?

企业部署支持专用容量、自动扩缩容、合规控制、可配置的数据保留、服务级别协议和支持选项。企业页面声明,提示词和输出内容均视为客户数据,不会用于训练。

Quick Facts

类别
AI 模型 / 开发者工具
模型类型
基于扩散的大语言模型
上下文窗口
100 万个 token
公布速度
在 NVIDIA GPU 上每秒 1,068 个 token
API 兼容性
兼容 OpenAI
主要工作流
浏览器代理、教育、实时搜索和客服