Experiential Labs

Experiential Labs 是开源 AI 网关，通过一个兼容 OpenAI 的端点，在托管服务商、自有密钥和自有 GPU 之间路由请求，并提供访问控制、归因、预算及智能路由与缓存功能。

大语言模型

AI API设计

AI开发者工具

访问网站

用于路由式 AI 访问的开源网关

Experiential Labs 是开源 AI 网关，通过一个兼容 OpenAI 的端点，将多个模型服务商置于其后。该产品围绕单一 API 密钥和路由层构建，可与托管服务商、客户自有密钥和客户自有 GPU 配合使用。

该网站将此网关定位为一种控制智能体流量路由、访问和归因的方式，同时让路由令牌采用服务商目录价。它还增加了智能层，可根据观察到的使用情况建议切换模型、利用缓存机会以及进行模型训练或优化，并支持选择在你自己的基础设施上自托管整个网关。

核心能力

一个端点接入多个模型来源

通过单一兼容 OpenAI 的端点路由托管服务商、自有密钥和自有 GPU，让智能体可以使用一个 API 密钥访问不同模型来源。

访问控制与支出控制

在组织、团队、个人、智能体或工具层级设置预算、硬性上限、模型允许列表和密钥权限范围，从而在网关层限制请求。

请求级归因与报告

为每个请求记录路由、回退、令牌和成本等归因信息，然后在控制台和使用情况 API 中按智能体、个人、模型或日期查看使用情况。

流量感知型路由建议

利用智能层推荐更低成本或更快速的模型路由，识别缓存机会，并根据观察到的流量支持逐提示优化。

为重复工作提供提示缓存

为重复令牌启用提示缓存，在保持相同提示和工作流的同时，降低重复内容的实际令牌成本。

托管或自托管部署

在你自己的基础设施上运行网关，或使用托管服务；核心部分以开源形式提供，网站也说明了自托管方式。

适用场景

统一应用技术栈中的模型访问
让智能体、应用或内部工具指向同一个基础 URL，使模型选择、服务商故障转移和成本归因在网关完成，而不是由每个应用分别处理。
控制团队支出和访问权限
使用组织策略、上限和允许列表，让团队、智能体或密钥保持在规划预算内，同时仍可将请求路由到多个服务商。
降低重复工作负载的成本
通过缓存路由重复提示，并在流量模式支持的情况下，让智能层发现更低成本的路由或更低开销的设置。
在自己的环境中运行网关
如果希望在自己的基础设施上提供端点、预算、路由和使用情况 API，而不是使用托管部署，可自托管该网关。
部署针对工作流调优的模型
按照案例研究中的模式，在你自己的工作流上训练或蒸馏模型，然后将其与其他模型流量一起置于同一个端点之后提供服务。

Pros and Cons

Pros

将托管服务商、BYOK 以及本地或自托管模型整合到一个端点之后。
路由令牌采用服务商目录价，路由令牌不加价（0% 加价）。
在网关层提供预算、硬性上限、模型允许列表和请求归因。
提供兼容 OpenAI 的 /v1 端点和流式传输支持。
可使用开源核心在你自己的基础设施上自托管。

Cons

智能层并非每个方案都免费；定价页面称，Pro 和 Enterprise 方案包含该功能，并按积分计费。
部分企业能力被描述为计划提供或按需提供，包括托管升级与备份、短期凭证，以及某些安全审查或支持安排。

FAQ

如何设置？

该网关提供兼容 OpenAI 的 /v1 端点。定价页面称，自托管网关可以使用 `uvx --from experiential exp run` 在你自己的基础设施上运行，网站还提供了标准聊天补全请求的示例。

适合哪些用户？

它面向希望通过一个端点接入托管服务商、BYOK 以及本地或自托管模型，并获得路由、预算、访问控制和归因功能的团队。定价页面还介绍了企业级控制功能，例如 SSO、SCIM、高级 RBAC、专用网络和数据驻留。

智能层有什么作用？

该网关会将请求路由到能够提供指定模型的、状况良好的最低成本部署；智能层还可以根据观察到的流量，建议切换模型、利用缓存机会以及进行逐提示优化。

定价如何运作？

网站称，路由使用服务商的目录价，路由令牌不加价（0% 加价）。路由令牌和智能功能共用积分，积分用尽后，请求会在额度上限处停止。

可以使用自己的密钥或模型吗？

可以。定价页面称，Pro 和 Enterprise 方案包含 BYOK 和本地模型；主页称，你自行微调的模型和自托管模型也可以通过同一个密钥接入。

Quick Facts

类别: AI 网关 / 开发者工具
平台: 支持自托管选项的 Web 服务
主要用户: 在不同模型之间路由智能体流量的团队和开发者
来源域名: experientiallabs.ai
API 风格: 兼容 OpenAI 的 /v1 端点
定价信息: 免费方案、Pro 方案和 Enterprise 方案