單一 gateway 端點
ARBR 提供一個 OpenAI 相容端點，置於多個供應商之前，因此應用程式可維持既有用戶端模式，由 gateway 負責供應商選擇。
概覽
ARBR 是一個開源 AI gateway 與 control plane，用於在多個模型供應商之間進行路由、可觀測性、預算與治理。它提供單一 OpenAI 相容端點，讓團隊可在應用程式與既有模型之間放置一層營運控制層。
這個產品可在請求到達供應商之前，先進行分類、路由、計量與治理，之後再將分析與建議回傳到技術堆疊中。網站也描述了對本機 dashboard 或 OpenTelemetry 匯出的支援，以及以單一獨立容器部署 gateway、admin API 與 dashboard 的方式。
平台功能
路由與 fallback 控制
請求路徑可在選定模型前，套用難度感知選擇、成本護欄、規則與 fallback 行為。
請求路徑中的治理
平台可在推論前強制執行預算、速率限制、輸出護欄、prompt-injection 檢查與 kill switch。
即時可觀測性
每個請求都會轉為結構化事件，包含成本、延遲、tokens、路由決策、app、team、model 與 user 歸因。
即時評估迴圈
ARBR 可使用 LLM judge 為即時流量評分，接著將未來請求路由到仍能通過所選品質門檻的最低成本模型。
受控模型部署
文件說明了模型的 canary 與 shadow deployment，並提供 rollback 與 regression gates 來協助控制發布風險。
使用情境
在不變更用戶端程式碼的情況下新增控制層
將既有 OpenAI SDK、agent framework 或 chat UI 流量指向 ARBR 的 base URL，讓請求持續運作，同時由 gateway 加上路由、記錄、驗證與預算強制。
將任務路由到不同模型
使用路由規則、成本護欄與 fallback 行為，依據任務難度、延遲或價格，為每個請求選擇模型。
監控 AI 使用量與花費
依 app、team、model 與 user 追蹤支出、延遲、tokens 與路由決策，接著在 dashboard 中檢視資料，或匯出到相容 OpenTelemetry 的工具。
在即時請求上強制執行治理
在推論前套用預算、速率限制、輸出護欄、prompt-injection 檢查與 kill switch，以降低營運風險。
更謹慎地推出模型
在真實流量上為新模型執行 canary 或 shadow 測試，接著在評估結果未達門檻時使用 regression gates 與 rollback。
Pros and Cons
Pros
- OpenAI 相容的 base URL 讓整合既有 SDK 與應用程式更容易。
- 在同一層中涵蓋路由、治理、可觀測性與評估。
- 支援多種供應商，也支援 OpenAI 相容或 self-hosted 端點。
- 部署文件提供具體的 production 指引，包括 Docker Compose、TLS、reverse proxy 與 GCP 操作流程。
- 資料可匯出到本機 dashboard 或 OpenTelemetry 相容工具。
Cons
- 官方提供的頁面中沒有公開定價資訊。
- 文件指出將流量擷取到訓練資料的功能仍在 roadmap 中，尚未正式推出。
FAQ
要如何將既有應用程式連接到 ARBR？
ARBR 的設計是置於既有 OpenAI 相容用戶端之前。文件提供 Python、JavaScript 和 cURL 範例，示範將 SDK 或應用程式指向 ARBR 的 base URL，之後仍可使用相同的 chat-completions 風格請求。
ARBR 在 production 中如何部署？
部署文件說明 ARBR 會以單一容器、單一連接埠執行，將 gateway、admin API 與 dashboard 整合在一起。在 production 中，文件建議在前方加上 TLS 與 reverse proxy，並使用 production Docker Compose 設定檔。
儀表板中可以設定哪些內容？
首頁表示 ARBR 可路由、治理、觀測、評估與部署模型；部署文件補充，像是 routing mode、required API keys、budgets、default model、rules 與 AI policy 等 runtime 行為，會在 dashboard 中管理並儲存在 MongoDB。
ARBR 支援哪些模型供應商？
首頁列出主要供應商，例如 OpenAI、Anthropic、Google Gemini、Amazon Bedrock、Azure OpenAI、Vertex AI、Groq、DeepSeek、Moonshot、xAI、Mistral、LiteLLM 與 NVIDIA NIM，並說明 ARBR 也可搭配任何 OpenAI 相容或 self-hosted 端點使用。
ARBR 有公開的定價資訊嗎？
來源頁面沒有提供已公開的定價。擷取到的 pricing URL 回傳的是 GitHub Pages 404，因此在提供的證據中找不到方案細節。
Quick Facts
- 類別
- AI gateway / control plane
- 授權
- MIT licensed
- 部署模式
- 單一容器、單一連接埠
- 相容性
- OpenAI 相容端點
- 來源網域
- projectarbr.org
- 主要使用者
- 操作多個模型供應商的團隊
ARBR 替代品
ByteAsk
ByteAsk 是專為 C 與 C++ 打造的終端機優先 AI coding agent，先編輯儲存庫再用真實編譯器、除錯器、sanitizer 與測試驗證變更，並提供免費方案與付費方案。
CreateOS Sandbox
CreateOS Sandbox 是以 Firecracker micro-VM 執行程式與 agent 工作負載的隔離運算環境，支援私有網路、SDK、CLI 與 MCP 程式化控制。
hob
hob 是一個獨立的 coding agents 工作區，整合 agent sessions、終端機、歷史紀錄與後續工作，並維持你既有的工具與供應商設定。適合想保有本機路由、歷史與工作區結構控制權的開發者。
Ably Chat
Ably Chat 是一個聊天 API 平台，適合打造自訂即時聊天應用程式。支援聊天室訊息、輸入中提示、在線狀態、表情回應與訊息更新，並提供依使用量計費選項。
MacSpoof
MacSpoof 是 macOS MAC 位址變更工具，可改寫或隨機化 Wi‑Fi MAC 位址，重新連線並降低在公共 Wi‑Fi 被記錄的裝置識別。
Manta AI
Manta AI 是一款自動化網頁應用測試工具，從 URL 即可開始探索、建立行為地圖，並以自然語言產生測試與回歸檢查，無需撰寫腳本或維護 selector。