ARBR

ARBRは、複数のモデル提供元をまたいでルーティング、可観測性、予算管理、ガバナンスを統合する、OpenAI互換エンドポイントを備えたオープンソースAIゲートウェイ兼コントロールプレーンです。

概要

ARBR は、モデル提供元をまたいだルーティング、可観測性、予算管理、ガバナンスのためのオープンソース AI ゲートウェイ兼コントロールプレーンです。1 つの OpenAI 互換エンドポイントを提供することで、チームは自分たちのアプリと、すでに利用しているモデルの間に 1 層の運用レイヤーを置けます。

この製品は、リクエストがプロバイダーに届く前に各リクエストを分類、ルーティング、メータリング、ガバナンスし、その後、分析結果と推奨事項をスタックに返すよう設計されています。サイトでは、ローカルダッシュボードや OpenTelemetry エクスポートへの対応に加え、ゲートウェイ、管理 API、ダッシュボードをまとめた 1 つのスタンドアロンコンテナでのデプロイについても説明されています。

プラットフォーム機能

単一のゲートウェイエンドポイント

ARBR は複数のプロバイダーの前段に配置される 1 つの OpenAI 互換エンドポイントを公開するため、アプリケーションは既存のクライアントパターンを維持しつつ、ゲートウェイがプロバイダー選択を処理できます。

ルーティングとフォールバック制御

リクエスト経路では、モデルが選択される前に、難易度を考慮した選択、コストのガードレール、ルール、フォールバック動作を適用できます。

リクエスト経路でのガバナンス

このプラットフォームは、推論前に予算、レート制限、出力ガードレール、プロンプトインジェクションチェック、キルスイッチを適用できます。

運用可観測性

各リクエストは、コスト、レイテンシ、トークン、ルーティング判断、アプリ、チーム、モデル、ユーザー属性を含む構造化イベントに変換されます。

ライブ評価ループ

ARBR は LLM ジャッジでライブトラフィックをスコアリングし、その後、選択した品質基準を満たす最も低コストなモデルに将来のリクエストをルーティングできます。

制御されたモデルデプロイ

ドキュメントでは、モデル向けのカナリアデプロイとシャドウデプロイが説明されており、ロールバックや回帰ゲートによってロールアウトリスクの制御を支援します。

ユースケース

クライアントコードを変更せずに制御レイヤーを追加する
既存の OpenAI SDK、エージェントフレームワーク、またはチャット UI のトラフィックを ARBR のベース URL に向けることで、ゲートウェイがルーティング、ログ記録、認証、予算適用を追加してもリクエストはそのまま動作し続けます。
タスクを異なるモデルに振り分ける
ルーティングルール、コストのガードレール、フォールバック動作を使って、タスクの難易度、レイテンシ、価格に基づき、リクエストごとにモデルを選択します。
AI の利用状況と支出を監視する
アプリ、チーム、モデル、ユーザーごとに支出、レイテンシ、トークン、ルーティング判断を追跡し、ダッシュボードでデータを確認するか、OpenTelemetry 互換ツールにエクスポートします。
ライブリクエストにガバナンスを適用する
推論前に予算、レート制限、出力ガードレール、プロンプトインジェクションチェック、キルスイッチを適用して、運用リスクを低減します。
モデルをより慎重に रोलアウトする
実際のトラフィックに対して新しいモデルのカナリアテストまたはシャドウテストを実行し、評価結果が基準に達しない場合は回帰ゲートとロールバックを使用します。

Pros and Cons

Pros

OpenAI 互換のベース URL により、既存の SDK やアプリとの統合がしやすくなります。
ルーティング、ガバナンス、可観測性、評価を 1 層でカバーします。
多くのプロバイダーに加え、OpenAI 互換またはセルフホスト型のエンドポイントもサポートします。
デプロイメントのドキュメントでは、Docker Compose、TLS、リバースプロキシ、GCP の手順など、具体的な本番運用ガイダンスが提供されています。
データはローカルダッシュボードや OpenTelemetry 互換ツールにエクスポートできます。

Cons

公開価格は、提供されたページからは確認できません。
ドキュメントでは、トレーニングデータへのトラフィック取り込みはロードマップ上であり、まだ提供されていないと記載されています。

FAQ

既存のアプリを ARBR にどう接続しますか？

ARBR は既存の OpenAI 互換クライアントの前段に配置するよう設計されています。ドキュメントでは、Python、JavaScript、cURL の例を示しており、SDK やアプリの接続先を ARBR のベース URL に向け、その後も同じ chat-completions スタイルのリクエストを使い続けられます。

ARBR は本番環境でどのようにデプロイされますか？

デプロイメントのドキュメントによると、ARBR はゲートウェイ、管理 API、ダッシュボードをまとめて 1 つのポートで 1 つのコンテナとして実行されます。本番環境では、TLS とリバースプロキシを前段に置き、本番用の Docker Compose プロファイルを使うことが推奨されています。

ダッシュボードでは何を設定できますか？

ホームページでは、ARBR がモデルのルーティング、ガバナンス、可観測性、評価、デプロイを行えると説明されています。またデプロイメントのドキュメントでは、ルーティングモード、必須 API キー、予算、デフォルトモデル、ルール、AI ポリシーなどの実行時動作はダッシュボードで管理され、MongoDB に保存されると補足されています。

ARBR はどのモデル提供元をサポートしていますか？

ホームページには、OpenAI、Anthropic、Google Gemini、Amazon Bedrock、Azure OpenAI、Vertex AI、Groq、DeepSeek、Moonshot、xAI、Mistral、LiteLLM、NVIDIA NIM などの主要プロバイダーが挙げられており、ARBR は OpenAI 互換またはセルフホスト型のエンドポイントとも連携できるとされています。

ARBR に公開価格情報はありますか？

提供されたページには公開価格の記載はありません。取得された pricing URL は GitHub Pages の 404 を返しており、提供された証拠からはプランの詳細は確認できませんでした。

Quick Facts

カテゴリ: AI ゲートウェイ / コントロールプレーン
ライセンス: MIT ライセンス
デプロイモデル: 1 つのポートで動作する単一コンテナ
互換性: OpenAI 互換エンドポイント
ソースドメイン: projectarbr.org
主な利用者: 複数のモデル提供元を運用するチーム

ARBRの代替品

ByteAsk

ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。

CreateOS Sandbox

CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。

hob

hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。

Ably Chat

Ably Chatは、カスタムのリアルタイムチャットアプリを構築できるチャットAPIプラットフォームです。ルーム単位のメッセージ、入力中表示、プレゼンス、リアクション、メッセージ更新に対応し、利用量ベースの料金も選べます。

MacSpoof

MacSpoofはmacOSのMACアドレス変更ツール。Wi‑FiのMACを変更/ランダム化して再接続し、公衆Wi‑Fiでの端末記録を抑えるのに役立ちます。

Manta AI

Manta AIは、URLからアプリの挙動を把握し、回帰を検出し、スクリプトやセレクタ管理なしでテストを生成できる自律型Webアプリテストツールです。