IQ Routing icon

IQ Routing

IQ Routing 是一款模型路由网关,可将每个请求发送到在满足质量要求前提下成本最低的模型层级。适用于基于 OpenAI、Anthropic 或 Google 风格端点运行的聊天机器人、RAG 流程、agent 循环和金融工作负载。

IQ Routing

概述

IQ Routing 是一款面向通过 OpenAI、Anthropic 或 Google 风格端点调用大语言模型的应用的模型路由网关。它位于聊天机器人、RAG 流程、agent 循环和金融工作负载之前,并将每个请求发送到仍满足质量要求的最低成本模型。

该产品旨在在不更改 agent 代码路径的情况下减少模型支出。网站将其描述为可直接接入现有 SDK 和端点的一层,其路由决策基于提示复杂度、实时成本与延迟信号,以及在模型或提供商路径失败时的回退处理。

定价和文档页面显示其支持三类在线提供商、BYOK 运行、响应缓存、团队预算、审计日志,以及仅限特定方案的控制项,如告警和组织范围访问。Enterprise 还提供本地部署或 VPC 等部署选项,并可按需提供 SOC2 证据包等支持材料。

功能

面向多个提供商家族的单一网关

通过单一基础 URL 在 OpenAI、Anthropic 和 Google 之间路由请求,同时保留 Claude Code 或 Cursor 等应用所需的模型家族约束。

感知复杂度的路由

按复杂度对每个提示进行分类,并在请求不需要旗舰模型时选择更便宜的模型层级;若某个选项失败,则可立即回退。

可配置的路由别名和模型边界

使用 auto、frontier 等别名以及其他路由模式来控制解析器搜索的范围,并通过首选模型和允许模型列表来约束梯度。

四向计费可视化

按输入、输出、缓存和思考 token 跟踪支出,并提供每次请求的详细信息,说明一次调用为何产生相应费用。

重复请求响应缓存

通过精确与语义响应缓存,避免重复请求被重复计费,包括面向 agent 循环和流式重放的会话级缓存。

预算与团队控制

在付费方案中应用每团队预算、每密钥限制、审计日志、告警和组织范围访问控制。

使用场景

  • 具有混合步骤复杂度的 agent 循环

    将低复杂度的分类、检索、清理或验证步骤路由到更便宜的模型,同时将最强模型保留给工作流中真正需要它的部分。

  • 生产级聊天机器人和 RAG 流程

    将 IQ Routing 放在聊天机器人或 RAG 服务之前,使应用可以使用单一基础 URL,而路由器在后台处理模型选择。

  • 跨团队成本控制

    使用每团队预算、审计日志和组织范围访问控制,跟踪共享环境中谁花了多少钱,并让计费记录更易于审查。

  • 重复提示处理

    依赖网关响应缓存,在无需再次调用提供商的情况下返回完全相同或语义相似的重复请求,这在用户用稍有不同的措辞提出相同问题时非常有用。

  • 受控的企业部署

    当网关需要在云、VPC 或本地环境中运行,而不仅仅是作为托管服务时,采用 Enterprise 部署选项。

Pros and Cons

Pros

  • 旨在将每个请求路由到仍保持质量的最低成本模型。
  • 可作为现有 OpenAI 或 Anthropic 风格端点后面的即插即用网关。
  • 使用响应缓存避免重复请求被重复计费。
  • 按 token 类别、团队、模型和请求细节展示支出,便于审查。
  • 支持 BYOK 设置,因此提供商计费仍留在客户自己的账户中。

Cons

  • Enterprise 定价为定制化,买家需要联系销售了解该层级。
  • ERP 集成被提及为路线图上的内容,而非已完全可用。
  • 包括告警和组织范围访问在内的一些控制仅限付费方案。

FAQ

IQ Routing 是做什么的?

IQ Routing 位于 OpenAI、Anthropic 和 Google 风格端点之前,将每个请求路由到仍满足质量要求的最低成本模型层级。它旨在与聊天机器人、RAG 流程、agent 循环和金融工作负载配合使用。

如何集成它?

该产品被设计为即插即用的网关。网站说明它可在你已经使用的 OpenAI 或 Anthropic SDK 后面工作,任何 OpenAI 或 Anthropic 风格的端点都可以指向同一个基础 URL。

有哪些方案可用?

是的。定价页面显示有 Free、Team 和 Enterprise 方案。Free 为自助式并支持 BYOK,Team 为每月 70 美元按月计费,Enterprise 为按年定制定价,并提供本地部署或 VPC 部署选项。

我是否需要为 IQ Routing 的模型使用付费?

文档说明所有方案都采用自带密钥(bring-your-own-key),因此你连接自己的提供商凭证并直接向提供商付款。计费文档还指出,402 响应表示你的 BYOK 密钥上的提供商额度已耗尽。

它支持缓存吗?

计费文档描述了一个网关响应缓存,可在不再次调用提供商的情况下返回完全相同或语义相似的重复请求。网站还说明,一次测得的生产环境缓存命中返回时间约为 11 毫秒,且无需额外成本。

Quick Facts

类别
AI 模型路由网关
主要用户
构建聊天机器人、RAG 流程、agent 循环和金融工作负载的团队
支持的提供商
OpenAI、Anthropic 和 Google
部署
云端;Enterprise 还支持本地部署或 VPC 部署
定价模式
Free、每月 70 美元按月计费的 Team,以及定制 Enterprise
网站
iq-routing.com