IQ Routing icon

IQ Routing

IQ Routing 是模型路由閘道,將每個請求送往同時符合品質門檻的最低成本模型層級,適用於以 OpenAI、Anthropic 或 Google 端點運作的聊天機器人、RAG 流程、agent 迴圈與金融工作負載。

IQ Routing

概覽

IQ Routing 是一個適用於透過 OpenAI、Anthropic 或 Google 風格端點呼叫大型語言模型的應用程式之模型路由閘道。它位於聊天機器人、RAG 流程、agent 迴圈與金融工作負載之前,並將每個請求送往仍符合品質門檻的最低成本模型。

此產品旨在降低模型支出,而不改變 agent 程式碼路徑。網站將其描述為可直接套用到既有 SDK 與端點的層,路由決策則根據提示複雜度、即時成本與延遲訊號,以及當模型或供應商路徑失敗時的回退處理。

定價與文件頁面顯示三個即時供應商家族、BYOK 操作、回應快取、每團隊預算、稽核日誌,以及方案特定控制項,例如提醒與組織範圍存取。Enterprise 另提供 on-prem 或 VPC 等部署選項,並可按需求提供 SOC2 證據包等支援文件。

功能

適用於多個供應商家族的單一閘道

透過單一 base URL 在 OpenAI、Anthropic 與 Google 之間路由請求,同時保留像 Claude Code 或 Cursor 這類應用所需的模型家族限制。

考量複雜度的路由

依據每個提示的複雜度進行分類,當請求不需要旗艦模型時選擇較便宜的模型層級,若某個選項失敗則可立即回退。

可設定的路由別名與模型邊界

使用 auto、frontier 及其他路由模式等別名來控制 resolver 搜尋的範圍,並透過 preferred-model 與 allowed-model 清單限制階梯範圍。

四向計費可視性

追蹤 input、output、cached 與 thinking token 的花費,並提供逐請求細節,說明每次呼叫的成本原因。

重複請求的回應快取

透過精確與語意回應快取避免重複請求被重複計費,並支援對話範圍的快取,用於 agent 迴圈與串流重播。

預算與團隊控制

在付費方案中套用每團隊預算、每金鑰限制、稽核日誌、提醒與組織範圍存取控制。

使用情境

  • 具有混合步驟複雜度的 agent 迴圈

    將低複雜度的分類、檢索、清理或驗證步驟路由到較便宜的模型,同時保留最強模型給工作流程中真正需要它的部分。

  • 正式環境聊天機器人與 RAG 流程

    將 IQ Routing 放在聊天機器人或 RAG 服務前方,讓應用程式能使用單一 base URL,而路由器在幕後處理模型選擇。

  • 跨團隊成本控管

    使用每團隊預算、稽核日誌與組織範圍存取控制,追蹤共用環境中各人花了多少,並讓計費軌跡更容易檢視。

  • 重複提示處理

    依賴閘道回應快取來回傳完全相同或語意相近的重複請求,而無需再次呼叫供應商;這在使用者用稍微不同的措辭詢問相同問題時很有用。

  • 受控的企業部署

    當閘道需要在雲端、VPC 或 on-prem 環境中執行,而不只是作為代管服務時,採用 Enterprise 部署選項。

Pros and Cons

Pros

  • 設計目標是將每個請求路由到仍能維持品質的最低成本模型。
  • 可作為既有 OpenAI 或 Anthropic 風格端點後方的可直接接入閘道。
  • 使用回應快取避免重複請求被重複計費。
  • 依 token 類別、團隊、模型與請求細節呈現支出,方便檢視。
  • 支援 BYOK 設定,因此供應商計費維持在客戶自己的帳戶中。

Cons

  • Enterprise 定價為客製化,因此買家需要聯絡銷售才能取得該方案。
  • ERP 整合被提及為路線圖內容,尚未完全提供。
  • 某些控制項,包括提醒與組織範圍存取,僅限付費方案。

FAQ

IQ Routing 是做什麼的?

IQ Routing 位於 OpenAI、Anthropic 與 Google 風格的端點前方,將每個請求路由到仍符合品質門檻的最低成本模型層級。它 նախատես於與聊天機器人、RAG 流程、agent 迴圈與金融工作負載搭配使用。

要如何整合它?

這個產品設計為可直接接入的閘道。網站說明它可在你已使用的 OpenAI 或 Anthropic SDK 之後運作,而且任何 OpenAI 或 Anthropic 風格的端點都可以指向同一個 base URL。

有哪些方案可選?

是的。定價頁面顯示 Free、Team 與 Enterprise 方案。Free 為自助式並支援 BYOK,Team 為每月按月計費 70 美元,Enterprise 則為客製化年度定價,並提供 on-prem 或 VPC 部署選項。

使用 IQ Routing 的模型用量要另外付費給 IQ Routing 嗎?

文件說明每個方案都採用自帶金鑰(bring-your-own-key),因此你會連接自己的供應商憑證並直接向供應商付款。計費文件也指出,402 回應表示你的 BYOK 金鑰已耗盡供應商額度。

它支援快取嗎?

計費文件描述了一個閘道回應快取,可在不再次呼叫供應商的情況下回傳完全相同或語意相近的重複請求。網站也提到,一次量測到的正式環境快取命中回應約在 11 毫秒內返回,且不產生成本。

Quick Facts

類別
AI 模型路由閘道
主要使用者
建立聊天機器人、RAG 流程、agent 迴圈與金融工作負載的團隊
支援的供應商
OpenAI、Anthropic 與 Google
部署
雲端;Enterprise 也支援 on-prem 或 VPC 部署
定價模式
Free、每月按月計費 70 美元的 Team,以及客製化 Enterprise
網站
iq-routing.com