基于扩散的生成
该模型采用基于扩散的由粗到细的生成过程,而不是逐个 token 确定输出,从而支持生产工作流中的快速推理。
Mercury 3 是 Inception 面向生产应用推出的基于扩散的大语言模型,适用于同时需要推理能力和低延迟响应的场景。它是 Inception Mercury 产品系列中的旗舰模型,面向多步骤系统设计,在这类系统中,等待模型输出的时间可能会随着代理步骤累积。
该模型提供百万级 token 上下文窗口,并报告在 NVIDIA GPU 上达到每秒 1,068 个 token。它可通过 Inception API Platform 及多个外部访问渠道使用,并提供兼容 OpenAI 的 API,旨在适配现有 LLM 应用。Inception 所描述的使用场景包括浏览器代理、交互式教育、实时搜索和客服。
该模型采用基于扩散的由粗到细的生成过程,而不是逐个 token 确定输出,从而支持生产工作流中的快速推理。
公布的基准数据是在 NVIDIA GPU 上达到每秒 1,068 个 token,网站称商业 GPU 部署的性能超过每秒 1,000 个 token。
Mercury 3 支持百万级 token 上下文窗口,使应用能够提供远大于 Mercury 2.5 所报告的 260,000 个 token 上下文的输入。
该模型兼容 OpenAI API,并支持 AISuite、LiteLLM 和 LangChain,从而减少连接现有应用所需的改动。
该模型可通过 Inception API Platform 以及包括 OpenRouter、Baseten 和 Vercel 在内的第三方访问渠道使用。企业渠道包括 AWS Bedrock 和 Azure Foundry。
企业部署可使用专用容量、自动扩缩容、可配置的数据保留、合规控制和服务级别协议,具体取决于所选方案。
浏览器使用代理可以在每次导航、研究或日志分析步骤中调用该模型。更快的响应可减少多步骤代理工作流中累积的等待时间。
辅导和教育产品可以使用该模型提供对话式语音辅助、评分、提示、定义解释和自适应响应,以便在学生需要时立即提供反馈。
搜索系统可以处理文档并在用户保持参与的同时返回答案。Inception 提到的应用包括实时搜索代理和智能眼镜体验。
客服系统可以使用 Mercury 3 通过聊天、语音和电子邮件提供对话式响应,适用于重视响应准确性和任务完成情况的工作流。
构建生产级 AI 应用的团队可以通过兼容 OpenAI 的 API 连接,或在需要容量、扩展、治理或数据保留控制时使用企业部署渠道。
Mercury 3 是一款基于扩散的大语言模型,专为需要快速响应和推理能力的生产应用而设计。
Mercury 3 可通过 Inception API Platform 以及 OpenRouter、Baseten 和 Vercel 使用。企业部署选项还包括 AWS Bedrock 和 Azure Foundry,模型路由服务包括 OpenRouter 和 Models.dev。
Mercury 3 兼容 OpenAI API,并可通过 AISuite、LiteLLM 和 LangChain 等库使用。来源还将其描述为传统 LLM 工作流的即插即用替代方案。
公布的标准价格为每百万个输入 token 0.20 美元、每百万个输出 token 0.70 美元。上线时网站列出 50% 的折扣,折后价格分别为 0.10 美元和 0.35 美元;缓存输入 token 的价格为每百万个 0.02 美元,享受上线折扣时为 0.01 美元。
企业部署支持专用容量、自动扩缩容、合规控制、可配置的数据保留、服务级别协议和支持选项。企业页面声明,提示词和输出内容均视为客户数据,不会用于训练。