Liquid Inference

Liquid Inference 是 AI 推理路由器，可按模型、地区、速度和质量规则，将每个 LLM 请求发送至符合条件的最低价服务商，并通过兼容 OpenAI 和 Anthropic 的 API 管理服务商选择、兼容性与推理成本。

什么是 Liquid Inference？

Liquid Inference 是面向大语言模型请求的推理路由器和竞价交易平台。它允许多个服务商针对同一个请求展开竞争，然后选择满足客户指定的模型、地区、速度和最低质量要求的最低价报价。

该服务旨在融入现有 API 工作流：其网站说明可通过一个基础 URL 和 Liquid Inference API 密钥使用 OpenAI Chat Completions 与 Anthropic Messages。它还提供请求成本信息、服务商质量测量结果和市场价格历史，帮助客户评估或管理推理支出。

核心功能

按请求进行服务商竞价

服务商会针对每个模型按 token 报价，请求将发送至满足客户所选规则的最低价服务商。

可配置的路由规则

客户可以指定模型、地区、速度和最低质量要求，以确定哪些服务商符合条件。

前置成本控制

价格上限会在生成开始前设定，因此在第一个 token 生成前即可知道请求的最高成本。计费基于生成的 token，输入 token 单独计价。

兼容 OpenAI 和 Anthropic API

该服务为 OpenAI Chat Completions 和 Anthropic Messages 提供统一的基础 URL，使兼容的现有客户端只需更改端点和 API 密钥，无需重建请求工作流。

服务商质量基准测试

Liquid Inference 表示会使用标准基准定期测试服务商，并发布测试所得的质量指标以供比较。

计费与市场数据

客户可以查看逐项列出的请求成本，并下载模型的实时和历史价格，以支持成本审核和工作负载时机安排。

潜在使用场景

为现有 LLM 应用添加路由
拥有现有 OpenAI 或 Anthropic 兼容应用的团队，可以通过更改 API 基础 URL 和 API 密钥，在保留客户端工作流的同时测试服务商之间的竞争。
平衡推理成本与要求
工程团队可以为成本敏感、但请求仍需满足运营或输出要求的工作负载设置模型、地区、速度和最低质量规则。
监控和管理推理支出
运营或财务团队可以检查逐项列出的请求费用，并利用实时或历史价格信息比较模型成本，决定何时发送工作负载。
提供推理容量
AI 基础设施服务商可以注册部署、提交审核、连接代理并自行报价，同时通过停止报价或调整价格来控制负载。
与编码和代理工具搭配使用
使用 Claude Code、Codex、Cursor、LiteLLM、LangChain 或基于 SDK 的客户端等兼容工具的开发者，可以将受支持的工作流指向共享路由器端点。

Pros and Cons

Pros

在竞争服务商报价之间为每个请求进行路由，而不是只采用固定的服务商费率。
允许客户按模型、地区、速度和最低质量要求限制路由。
在生成前显示请求的最高价格，并提供逐项列出的账单。
通过统一的基础 URL 支持 OpenAI Chat Completions 和 Anthropic Messages。
发布服务商基准测试结果以及模型的实时或历史价格数据。

Cons

来源未说明完整的 API 架构、限制、可靠性保证、安全控制，以及完整的服务商和模型覆盖范围。
价格会动态变化，取决于当前服务商报价、所选路由规则和 token 使用量；输入 token 和输出 token 分别计价。

FAQ

如何将应用连接到 Liquid Inference？

Liquid Inference 为 OpenAI Chat Completions 和 Anthropic Messages 提供路由器端点。该网站表示，现有客户端只需更改基础 URL 并提供 Liquid Inference API 密钥，即可使用该服务。

请求路由是如何工作的？

对于每个请求，服务商都会针对所选模型报价。Liquid Inference 会应用客户设定的规则，包括模型、地区、速度和最低质量要求，并将请求路由至满足这些条件的最低价服务商。

使用量如何计费？

该服务会在生成开始前显示请求的最高价格。客户按请求生成的 token 数量付费，而输入 token 与输出 token 分别计价。

我可以将哪些工具和 API 与它搭配使用？

该网站列出了兼容 OpenAI 和 Anthropic 的 API 工作流，并列出了 Claude Code、Codex、Cursor、OpenAI SDK、Anthropic SDK、LiteLLM、LangChain 和 Vercel AI SDK 等客户端与工具。来源未提供完整的兼容性或模型覆盖范围文档。

Quick Facts

类别: AI 推理路由
主要用户: 发送 LLM API 请求的团队和开发者
API 格式: OpenAI Chat Completions 和 Anthropic Messages
路由依据: 模型、地区、速度和最低质量要求
计费依据: 生成的 token；输入 token 单独计价
服务商模式: 独立服务商报价并竞争请求