单一网关端点
ARBR 提供一个兼容 OpenAI 的单一端点，位于多个提供商之前，因此应用可以保持现有客户端模式，而由网关负责提供商选择。
概览
ARBR 是一款开源 AI gateway 和 control plane，用于跨模型提供商进行路由、可观测性、预算管理和治理。它提供一个兼容 OpenAI 的单一端点，让团队在应用与其已经使用的模型之间放置一层统一的运行控制层。
该产品旨在在请求到达提供商之前，对每个请求进行分类、路由、计量和治理，然后将分析结果和建议返回到技术栈中。网站还说明支持本地仪表盘或 OpenTelemetry 导出，以及以一个独立容器部署网关、管理 API 和仪表盘。
平台能力
路由与回退控制
请求路径可以在选定模型之前应用基于难度的选择、成本护栏、规则和回退行为。
请求路径中的治理
该平台可在推理发生前强制执行预算、速率限制、输出护栏、提示注入检查和熔断开关。
运营可观测性
每个请求都会转化为一个结构化事件，包含成本、延迟、token、路由决策、应用、团队、模型和用户归因。
实时评估循环
ARBR 可使用 LLM judge 对线上流量进行评分，然后将未来请求路由到仍能满足所选质量门槛的最便宜模型。
受控模型部署
文档描述了模型的金丝雀发布和影子发布，并支持回滚和回归门控，以帮助控制上线风险。
使用场景
在不更改客户端代码的情况下添加控制层
将现有 OpenAI SDK、agent 框架或聊天 UI 流量指向 ARBR 的基础 URL，这样请求就能继续工作，同时网关添加路由、日志记录、身份验证和预算执行。
将任务路由到不同模型
使用路由规则、成本护栏和回退行为，根据任务难度、延迟或价格为每个请求选择模型。
监控 AI 使用情况和支出
按应用、团队、模型和用户跟踪支出、延迟、token 和路由决策，然后在仪表盘中查看数据或将其导出到兼容 OpenTelemetry 的工具。
对线上请求执行治理
在推理前应用预算、速率限制、输出护栏、提示注入检查和熔断开关，以降低运营风险。
更谨慎地发布模型
对新模型在真实流量上运行金丝雀或影子测试，然后在评估结果未达到门槛时使用回归门控和回滚。
Pros and Cons
Pros
- 兼容 OpenAI 的基础 URL，使其更容易与现有 SDK 和应用集成。
- 在一层中覆盖路由、治理、可观测性和评估。
- 支持多家提供商，也支持兼容 OpenAI 或自托管端点。
- 部署文档提供了具体的生产指导，包括 Docker Compose、TLS、反向代理和 GCP 操作指南。
- 数据可导出到本地仪表盘或兼容 OpenTelemetry 的工具。
Cons
- 公开页面未提供定价信息。
- 文档指出，将流量捕获到训练数据的功能仅在路线图中，尚未发布。
FAQ
如何将现有应用连接到 ARBR？
ARBR 旨在位于现有兼容 OpenAI 的客户端前方。文档展示了 Python、JavaScript 和 cURL 示例，说明如何将 SDK 或应用指向 ARBR 的基础 URL，然后继续使用相同的聊天补全风格请求。
ARBR 在生产环境中如何部署？
部署文档说明，ARBR 作为单个容器运行在单一端口上，网关、管理 API 和仪表盘都集成在一起。在生产环境中，文档建议在其前面放置 TLS 和反向代理，并使用生产版 Docker Compose 配置。
仪表盘中可以配置哪些内容？
首页说明 ARBR 可以对模型进行路由、治理、观测、评估和部署，而部署文档补充说，路由模式、所需 API 密钥、预算、默认模型、规则以及 AI 策略等运行时行为都在仪表盘中管理，并存储在 MongoDB 中。
ARBR 支持哪些模型提供商？
首页列出了 OpenAI、Anthropic、Google Gemini、Amazon Bedrock、Azure OpenAI、Vertex AI、Groq、DeepSeek、Moonshot、xAI、Mistral、LiteLLM 和 NVIDIA NIM 等主要提供商，并说明 ARBR 也可与任何兼容 OpenAI 或自托管的端点配合使用。
ARBR 是否有公开的定价信息？
来源页面未提供公开定价。获取到的定价 URL 返回了 GitHub Pages 404，因此在所提供的证据中没有可用的方案详情。
Quick Facts
- 类别
- AI gateway / control plane
- 许可证
- MIT licensed
- 部署模式
- 单端口单容器
- 兼容性
- 兼容 OpenAI 的端点
- 源域名
- projectarbr.org
- 主要用户
- 运营多个模型提供商的团队
ARBR 替代品
ByteAsk
ByteAsk 是面向 C 和 C++ 的终端优先 AI 编码 agent，可直接编辑仓库，并在展示 diff 前用真实编译器、调试器、sanitizers 和测试验证修改。提供免费版与付费方案。
CreateOS Sandbox
CreateOS Sandbox 是基于 Firecracker 微型虚拟机的隔离计算环境，用于运行代码和 agent 工作负载，支持私有网络、SDK、CLI 和 MCP 程序化控制。
hob
hob 是面向编码 agent 的独立工作区，可将 agent 会话、终端、历史记录和后续工作围绕你已在用的工具与提供商有序管理，适合重视本地路由、历史和工作区结构控制的开发者。
Ably Chat
Ably Chat 是用于构建自定义实时聊天应用的 chat API 平台，支持房间消息、输入指示、在线状态、表情回应与消息更新，并提供按使用量计费选项。
MacSpoof
MacSpoof 是 macOS 的 MAC 地址更改工具，可更改或随机 Wi‑Fi MAC 身份，重连网络并帮助减少公共 Wi‑Fi 的设备记录。
Manta AI
Manta AI 是面向团队的自治式网页应用测试工具，可从 URL 自动探索应用、映射行为、捕捉回归，并用自然语言生成测试，无需脚本或维护选择器。