Experiential Labs

Experiential Labs 是開源 AI 閘道，透過單一相容 OpenAI 的端點路由託管供應商、自有金鑰與 GPU，並提供存取控制、歸因、預算、模型路由與快取智慧層。

大型語言模型

AI API設計

AI開發者工具

訪問網站

用於路由 AI 存取的開放原始碼閘道

Experiential Labs 是開放原始碼 AI 閘道，將多個模型供應商置於單一相容 OpenAI 的端點後方。產品以單一 API 金鑰與路由層為核心，可搭配託管供應商、客戶自有金鑰及客戶自有 GPU。

網站將此閘道定位為一種控管代理程式流量路由、存取與歸因的方式，同時讓路由代幣採用供應商價格。它也加入智慧層，能根據觀察到的使用情況建議模型變更、快取機會，以及模型訓練或最佳化；此外，您可以選擇在自己的基礎架構上自託管整個閘道。

核心功能

多個模型來源共用單一端點

透過單一相容 OpenAI 的端點路由託管供應商、自有金鑰與自有 GPU，讓代理程式能使用一組 API 金鑰存取不同模型來源。

存取控制與支出控管

在組織、團隊、人員、代理程式或工具層級設定預算、硬性上限、模型允許清單與金鑰範圍，讓請求在閘道層受到限制。

請求層級的歸因與報告

為每個請求標註路由、備援、代幣與成本，接著在主控台與使用量 API 中依代理程式、人員、模型或日期檢視使用量。

流量感知路由建議

使用智慧層根據觀察到的流量，建議更便宜或更快速的模型路由、找出快取機會，並支援逐提示最佳化。

重複工作使用提示快取

為重複代幣啟用提示快取，在維持相同提示與工作流程的同時，降低重複內容的有效代幣成本。

託管或自託管部署

將閘道執行於您自己的基礎架構，或使用託管服務；核心功能以開放原始碼提供，網站也有自託管文件。

適用情境

統一應用程式堆疊中的模型存取
讓代理程式、應用程式或內部工具指向單一基礎 URL，讓模型選擇、供應商故障轉移與成本歸因在閘道處理，而非由每個應用程式個別處理。
控管團隊的支出與存取
使用組織政策、上限與允許清單，讓團隊、代理程式或金鑰維持在規劃的預算內，同時仍可讓請求路由至多個供應商。
降低週期性工作負載的成本
將重複提示透過快取進行路由，並在流量模式符合條件時，讓智慧層找出更便宜的路由或較低工作量的設定。
在自己的環境中執行閘道
當您希望將端點、預算、路由與使用量 API 部署在自己的基礎架構，而非使用託管部署時，可自託管閘道。
部署針對工作流程調校的模型
依照案例研究中的模式，使用自己的工作流程訓練或蒸餾模型，接著讓它與其餘模型流量一樣，透過同一端點提供服務。

Pros and Cons

Pros

將託管供應商、BYOK 及本機或自託管模型整合至單一端點後方。
路由代幣採用供應商牌價，路由代幣加價為 0%。
在閘道層提供預算、硬性上限、模型允許清單與請求歸因。
提供相容 OpenAI 的 /v1 端點與串流支援。
可在您自己的基礎架構上自託管，並提供開放原始碼核心功能。

Cons

智慧層並非所有方案都免費；定價頁面表示，Pro 與 Enterprise 方案包含智慧層，並以點數計費。
部分企業功能標示為計畫中或可應要求提供，包括託管升級與備份、短期憑證，以及部分安全性審查或支援安排。

FAQ

如何設定？

閘道會提供相容 OpenAI 的 /v1 端點。定價頁面指出，自託管閘道可以使用 `uvx --from experiential exp run` 在您自己的基礎架構上執行，網站也展示了標準聊天完成請求的範例。

適合哪些對象？

其定位是為了滿足團隊需求：透過單一端點使用託管供應商、BYOK 及本機或自託管模型，並提供路由、預算、存取控制與歸因功能。定價頁面也描述了企業控制功能，例如 SSO、SCIM、進階 RBAC、私有網路與資料落地。

智慧層有哪些功能？

閘道會將請求路由至能提供指定模型的最低成本健康部署；智慧層也能根據觀察到的流量，建議切換模型、採用快取機會，以及進行逐提示最佳化。

定價如何運作？

網站表示，路由會採用供應商的牌價，路由代幣不加價 0%。路由代幣與智慧功能共用點數，點數用完時，請求會在上限處停止。

可以使用自己的金鑰或模型嗎？

可以。定價頁面指出，Pro 與 Enterprise 方案包含 BYOK 和本機模型；首頁則表示，您自行微調及自託管的模型可以使用同一組金鑰。

Quick Facts

類別: AI 閘道／開發者工具
平台: 具備自託管選項的網頁型服務
主要使用者: 在不同模型間路由代理程式流量的團隊與開發者
來源網域: experientiallabs.ai
API 形式: 相容 OpenAI 的 /v1 端點
定價資訊: 免費方案、Pro 方案與 Enterprise 方案