Liquid Inference

Liquid Inferenceは、モデル・地域・速度・品質条件を満たす最安プロバイダーへLLMリクエストをルーティング。OpenAI・Anthropic互換APIで選択、互換性、推論コストを管理できます。

Liquid Inferenceとは？

Liquid Inferenceは、大規模言語モデルのリクエスト向けの推論ルーター兼オークション取引所です。複数のプロバイダーをリクエストごとに競争させ、顧客が指定したモデル、地域、速度、最低品質の要件を満たす中で、最も低価格のオファーを選択します。

このサービスは既存のAPIワークフローに組み込めるよう設計されています。サイトでは、Liquid Inference APIキーを使用し、1つのベースURLからOpenAI Chat CompletionsとAnthropic Messagesを利用する方法が説明されています。また、推論コストを評価・管理する顧客向けに、リクエストコスト情報、プロバイダーの品質測定値、市場価格の履歴も提供します。

主な機能

リクエストごとのプロバイダーオークション

プロバイダーは各モデルについてトークン単位の価格を提示し、顧客が選択したルールを満たす中で最も低価格のプロバイダーにリクエストが送信されます。

設定可能なルーティングルール

顧客は、対象プロバイダーの適格性を判断するために使用するモデル、地域、速度、最低品質の要件を指定できます。

事前のコスト管理

生成開始前に価格上限を設定するため、最初のトークンが生成される前にリクエストの最大コストを把握できます。課金は生成されたトークンに基づき、入力トークンは別途価格設定されます。

OpenAIおよびAnthropic API互換性

OpenAI Chat CompletionsとAnthropic Messagesに共通のベースURLを提供しているため、互換性のある既存クライアントでは、リクエストワークフローを作り直すことなくエンドポイントとAPIキーを変更できます。

プロバイダー品質ベンチマーク

Liquid Inferenceによると、標準ベンチマークを使ってプロバイダーを定期的にテストし、その品質測定結果を比較用に公開しています。

課金および市場データ

顧客はリクエストごとの明細コストを確認し、モデルの現在価格や過去価格をダウンロードできます。これにより、コストの確認やワークロードを実行するタイミングの検討が可能になります。

想定される利用例

既存のLLMアプリケーションにルーティングを追加
OpenAIまたはAnthropic互換の既存アプリケーションを持つチームは、APIのベースURLとAPIキーを変更するだけで、クライアントのワークフローを維持しながらプロバイダー間の競争を試せます。
推論コストと要件のバランス調整
エンジニアリングチームは、コストを重視しながらも、リクエストが運用上または出力上の要件を満たす必要があるワークロードに対して、モデル、地域、速度、最低品質のルールを設定できます。
推論コストの監視と管理
運用チームや財務チームは、リクエストごとの請求明細を確認し、現在または過去の価格情報を使ってモデルコストを比較し、ワークロードを送信するタイミングを判断できます。
推論キャパシティを提供
AIインフラストラクチャプロバイダーは、デプロイメントを登録して審査に提出し、エージェントを接続して独自の価格を提示できます。また、提示を停止したり価格を変更したりして負荷を制御できます。
コーディングツールやエージェントツールと連携
Claude Code、Codex、Cursor、LiteLLM、LangChain、SDKベースのクライアントなど、互換性のあるツールを使用する開発者は、対応するワークフローを共有ルーターエンドポイントに向けることができます。

Pros and Cons

Pros

固定された単一プロバイダーの料金だけでなく、競合するプロバイダーのオファー間で各リクエストをルーティングできます。
モデル、地域、速度、最低品質によってルーティング条件を制限できます。
生成前にリクエストの最大価格を表示し、明細付きの課金情報を提供します。
共有ベースURLを通じて、OpenAI Chat CompletionsとAnthropic Messagesを利用できます。
プロバイダーのベンチマーク結果と、モデルの現在価格および過去価格のデータを公開しています。

Cons

ソースには、APIスキーマ全体、制限、信頼性保証、セキュリティ管理、プロバイダーとモデルの対応範囲全体についての記載がありません。
価格は動的で、現在のプロバイダーのオファー、選択したルーティングルール、トークン使用量によって変わります。入力トークンと出力トークンの価格は別々に扱われます。

FAQ

アプリケーションをLiquid Inferenceに接続するにはどうすればよいですか？

Liquid Inferenceは、OpenAI Chat CompletionsとAnthropic Messages用のルーターエンドポイントを提供します。サイトによると、既存のクライアントはベースURLを変更し、Liquid Inference APIキーを指定することでサービスを利用できます。

リクエストのルーティングはどのように機能しますか？

各リクエストについて、プロバイダーが選択されたモデルの価格を提示します。Liquid Inferenceは、モデル、地域、速度、最低品質などの顧客ルールを適用し、それらを満たす最安のプロバイダーへリクエストをルーティングします。

利用料金はどのように計算されますか？

サービスは、生成開始前にリクエストの上限価格を表示します。顧客はリクエストで生成されたトークンに対して課金され、入力トークンは出力トークンとは別に価格設定されます。

どのようなツールやAPIを利用できますか？

サイトには、OpenAI互換およびAnthropic互換のAPIワークフローが記載されており、Claude Code、Codex、Cursor、OpenAI SDK、Anthropic SDK、LiteLLM、LangChain、Vercel AI SDKなどのクライアントやツールが挙げられています。完全な互換性やモデル対応範囲については、ソースに詳細な記載がありません。

Quick Facts

カテゴリー: AI推論ルーティング
主な利用者: LLM APIリクエストを送信するチームと開発者
API形式: OpenAI Chat CompletionsおよびAnthropic Messages
ルーティング条件: モデル、地域、速度、最低品質
課金基準: 生成されたトークン。入力トークンは別途価格設定
プロバイダーモデル: 独立したプロバイダーが価格を提示し、リクエストをめぐって競争