Experiential Labs

Experiential Labsは、ホスト型プロバイダー、自社キー、自社GPUへのリクエストを1つのOpenAI互換エンドポイントで振り分けるオープンソースAIゲートウェイ。アクセス制御、帰属、予算、モデルルーティングとキャッシュのインテリジェンス層を提供します。

大規模言語モデル

AI APIデザイン

AI開発者ツール

ウェブサイトを訪問

ルーティングされたAIアクセスのためのオープンソースゲートウェイ

Experiential Labsは、複数のモデルプロバイダーを1つのOpenAI互換エンドポイントの背後に配置するオープンソースAIゲートウェイです。単一のAPIキーとルーティング層を中心に構築されており、ホスト型プロバイダー、自社所有のキー、自社所有のGPUに対応できます。

このゲートウェイは、プロバイダーの料金をルーティングされたトークンに適用しながら、エージェントトラフィックのルーティング、アクセス、帰属を制御する手段として位置付けられています。また、観測された利用状況に基づいて、モデルの変更、キャッシュの機会、モデルのトレーニングや最適化を提案できるインテリジェンス層も備えています。ゲートウェイ全体を自社インフラ上でセルフホストすることも可能です。

中核機能

複数のモデルソースに対応する1つのエンドポイント

ホスト型プロバイダー、自社キー、自社GPUを単一のOpenAI互換エンドポイント経由でルーティングし、エージェントがモデルソースをまたいで1つのAPIキーを使えるようにします。

アクセス制御と支出管理

組織、チーム、個人、エージェント、ツールの各レベルで予算、ハード上限、モデル許可リスト、キーのスコープを設定し、ゲートウェイでリクエストを制限します。

リクエスト単位の帰属とレポート

すべてのリクエストについて、ルート、フォールバック、トークン、コストを記録し、コンソールとUsage APIでエージェント、個人、モデル、日ごとに利用状況を確認できます。

トラフィックを考慮したルーティング提案

インテリジェンス層を使用して、より安価または高速なモデルルートを推奨し、キャッシュの機会を特定し、観測されたトラフィックに基づくプロンプト単位の最適化を支援します。

繰り返し処理のためのプロンプトキャッシュ

繰り返し使用するトークンのプロンプトキャッシュを有効にし、同じプロンプトとワークフローを維持したまま、繰り返しコンテンツの実効トークンコストを削減します。

ホスト型またはセルフホスト型のデプロイ

ゲートウェイを自社インフラ上で実行するか、ホスト型サービスを利用できます。コアはオープンソースとして提供され、セルフホスティングの方法はサイトに記載されています。

適した用途

アプリケーションスタック全体のモデルアクセスを統合
エージェント、アプリ、社内ツールを単一のベースURLに接続し、各アプリ内ではなくゲートウェイでモデル選択、プロバイダーのフェイルオーバー、コストの帰属を行います。
チームの支出とアクセスを管理
組織ポリシー、上限、許可リストを使用して、複数のプロバイダー間でリクエストをルーティングしながら、チーム、エージェント、キーを計画した予算内に収めます。
反復ワークロードのコストを削減
繰り返し使用するプロンプトをキャッシュ経由でルーティングし、トラフィックパターンに応じて、より安価なルートや負荷の低い設定をインテリジェンス層に提示させます。
自社環境でゲートウェイを実行
マネージドデプロイではなく、自社インフラ上でエンドポイント、予算、ルーティング、Usage APIを運用したい場合に、ゲートウェイをセルフホストします。
ワークフローに合わせて調整したモデルをデプロイ
ケーススタディのパターンを活用して、自社のワークフローに合わせてモデルをトレーニングまたは蒸留し、他のモデルトラフィックと同じエンドポイントの背後で提供します。

Pros and Cons

Pros

ホスト型プロバイダー、BYOK、ローカルまたはセルフホスト型モデルを1つのエンドポイントの背後に統合できます。
ルーティングされたトークンにはプロバイダーの定価が適用され、上乗せは0%です。
ゲートウェイで予算、ハード上限、モデル許可リスト、リクエストの帰属を設定できます。
OpenAI互換の/v1エンドポイントとストリーミングに対応しています。
オープンソースのコアを利用でき、自社インフラ上でセルフホストできます。

Cons

インテリジェンス層はすべてのプランで無料ではありません。料金ページによると、ProおよびEnterpriseに含まれ、クレジットで請求されます。
一部のエンタープライズ機能は、計画中またはリクエストに応じて利用可能と説明されています。これには、マネージドアップグレードとバックアップ、短期有効な認証情報、一部のセキュリティレビューやサポート体制が含まれます。

FAQ

どのようにセットアップしますか？

ゲートウェイはOpenAI互換の/v1エンドポイントを公開します。料金ページによると、セルフホスト型ゲートウェイは`uvx --from experiential exp run`で自社インフラ上で実行でき、サイトには標準的なチャット完了リクエストの例も掲載されています。

どのようなユーザー向けですか？

ホスト型プロバイダー、BYOK、ローカルまたはセルフホスト型モデルを1つのエンドポイントで利用し、ルーティング、予算、アクセス制御、帰属を実現したいチーム向けに位置付けられています。料金ページでは、SSO、SCIM、高度なRBAC、プライベートネットワーキング、データレジデンシーなどのエンタープライズ制御についても説明されています。

インテリジェンス層は何をしますか？

ゲートウェイは、モデルを提供できる正常なデプロイメントの中から最も安価なものを通じてリクエストをルーティングします。インテリジェンス層は、観測されたトラフィックに基づいて、モデルの切り替え、キャッシュの機会、プロンプト単位の最適化も提案できます。

料金はどのような仕組みですか？

サイトによると、ルーティングにはプロバイダーの定価が適用され、ルーティングされたトークンへの上乗せは0%です。ルーティングされたトークンとインテリジェンス機能の両方でクレジットが使用され、クレジットがなくなるとリクエストは上限で停止します。

独自のキーやモデルを使えますか？

はい。料金ページによると、BYOKとローカルモデルはProおよびEnterpriseに含まれ、ホームページでは独自のファインチューニング済みモデルとセルフホスト型モデルを同じキーの背後に配置できると説明されています。

Quick Facts

カテゴリー: AIゲートウェイ / 開発者ツール
プラットフォーム: セルフホスティングに対応したWebベースのサービス
主なユーザー: モデル間でエージェントトラフィックをルーティングするチームと開発者
ソースドメイン: experientiallabs.ai
API形式: OpenAI互換の/v1エンドポイント
料金の概要: 無料プラン、Proプラン、Enterpriseプラン