Liquid Inference icon

Liquid Inference

Liquid Inference 是 AI 推論路由器,依模型、地區、速度與品質規則,將每次 LLM 請求發送至符合條件的最低價供應商,並透過相容 OpenAI 與 Anthropic 的 API 協助團隊管理供應商選擇、相容性與推論成本。

Liquid Inference

什麼是 Liquid Inference?

Liquid Inference 是大型語言模型請求的推論路由器與競價交易平台。它讓多家供應商針對請求競價,接著選出符合客戶指定模型、地區、速度與最低品質要求的最低價方案。

這項服務旨在融入現有的 API 工作流程:其網站記載可透過單一基礎 URL 搭配 Liquid Inference API 金鑰使用 OpenAI Chat Completions 與 Anthropic Messages。它也提供請求成本資訊、供應商品質衡量結果,以及市場價格歷史資料,供客戶評估或管理推論支出。

核心功能

逐請求供應商競價

供應商會針對每個模型按 token 報價,請求會發送至符合客戶所選規則的最低價供應商。

可設定的路由規則

客戶可以指定模型、地區、速度與最低品質要求,用來決定哪些供應商符合資格。

事前成本控管

價格上限會在生成開始前設定,因此在第一個 token 產生前即可得知請求的最高成本。計費依產生的 token 計算,輸入 token 另行定價。

相容 OpenAI 與 Anthropic API

服務為 OpenAI Chat Completions 與 Anthropic Messages 提供單一基礎 URL,讓相容的現有用戶端只需變更端點與 API 金鑰,而不必重建請求工作流程。

供應商品質基準測試

Liquid Inference 表示會定期使用標準基準測試供應商,並發布測得的品質數據以供比較。

計費與市場數據

客戶可以查看逐項請求成本,並下載模型的即時與歷史價格,以協助檢視成本與安排工作負載時機。

潛在使用情境

  • 為現有 LLM 應用程式加入路由

    擁有現成 OpenAI 或 Anthropic 相容應用程式的團隊,可以變更 API 基礎 URL 與 API 金鑰,在保留原有用戶端工作流程的同時測試供應商競爭。

  • 平衡推論成本與要求

    工程團隊可以為重視成本、但請求仍需符合營運或輸出要求的工作負載,設定模型、地區、速度與最低品質規則。

  • 監控與管理推論支出

    營運或財務團隊可以檢視逐項請求費用,並利用即時或歷史價格資訊比較模型成本,決定何時發送工作負載。

  • 提供推論容量

    AI 基礎架構供應商可以註冊部署、提交審查、連線代理程式並自行報價,也能透過停止報價或變更價格來控制負載。

  • 搭配程式碼與代理工具使用

    使用 Claude Code、Codex、Cursor、LiteLLM、LangChain 或以 SDK 為基礎之用戶端等相容工具的開發者,可以將支援的工作流程指向共用路由器端點。

Pros and Cons

Pros

  • 在競爭中的供應商報價之間路由每個請求,而非僅採用固定供應商費率。
  • 允許客戶依模型、地區、速度與最低品質限制路由。
  • 在生成前顯示請求的最高價格,並提供逐項計費資訊。
  • 透過共用基礎 URL 支援 OpenAI Chat Completions 與 Anthropic Messages。
  • 發布供應商基準測試結果,以及模型的即時或歷史價格數據。

Cons

  • 來源未記載完整的 API 結構、限制、可靠性保證、安全控制措施,或完整的供應商與模型涵蓋範圍。
  • 價格會動態變化,取決於目前的供應商報價、選定的路由規則與 token 使用量;輸入與輸出 token 分開定價。

FAQ

如何將應用程式連線至 Liquid Inference?

Liquid Inference 為 OpenAI Chat Completions 與 Anthropic Messages 提供路由器端點。網站表示,現有用戶端只要變更基礎 URL 並提供 Liquid Inference API 金鑰即可使用這項服務。

請求路由如何運作?

對每個請求,供應商會針對選定模型報價。Liquid Inference 會套用客戶的規則,包括模型、地區、速度與最低品質,並將請求路由至符合這些條件的最低價供應商。

使用量如何計價?

服務會在生成開始前顯示請求的最高價格。客戶需依請求產生的 token 計費,而輸入 token 與輸出 token 分開定價。

可以搭配哪些工具與 API 使用?

網站列出相容 OpenAI 與相容 Anthropic 的 API 工作流程,並列出 Claude Code、Codex、Cursor、OpenAI SDK、Anthropic SDK、LiteLLM、LangChain 與 Vercel AI SDK 等用戶端與工具。來源未提供完整的相容性或模型涵蓋範圍文件。

Quick Facts

類別
AI 推論路由
主要使用者
發送 LLM API 請求的團隊與開發者
API 格式
OpenAI Chat Completions 與 Anthropic Messages
路由依據
模型、地區、速度與最低品質
計費基準
產生的 token;輸入 token 另行定價
供應商模式
獨立供應商報價並競爭請求