Edgee

Edgee 是什麼？

Edgee 是邊緣原生 AI 閘道，位於您的應用程式或程式碼代理與 LLM 供應商之間。其核心功能是在提示送達模型供應商前進行壓縮，目標是降低 token 使用量（從而減少成本與延遲），同時保留意圖。

它提供單一 OpenAI 相容 API，可將請求路由至 200+ 模型，並新增「邊緣智慧」層，用於路由政策、成本控制、私有模型、共享工具及可觀測性。

主要功能

• 提示 token 壓縮：在請求送至 LLM 供應商前縮減提示大小，針對長上下文、RAG 流程及多輪代理執行降低 token 數量。
• OpenAI 相容閘道 API：提供單一 API 介面，可將流量路由至 200+ 模型，而無需個別供應商專屬整合。
• 程式碼代理的透明代理模式：設計為無需修改程式碼即可運作，從第一個請求起即套用壓縮。
• 路由政策與成本控制：新增邊緣層級控制，用於管理請求路由及模型使用方式。
• 邊緣工具：支援呼叫 Edgee 管理的共享工具，也可部署您自己的私有工具，靠近使用者與供應商以獲得更嚴格控制及更低延遲。
• 自帶金鑰或 Edgee 管理金鑰：可使用 Edgee 的金鑰以求便利，或插入您自己的供應商金鑰以維持帳單控制及自訂模型設定。
• 可觀測性：追蹤延遲、錯誤及使用量，包括各模型、各應用程式及各環境的成本。
• 透過無伺服器開源 LLM 部署私有模型：依需求部署無伺服器開源模型，並透過相同閘道 API 與公開供應商並列提供。

如何使用 Edgee

1. 安裝 Edgee CLI：執行網站顯示的安裝指令（curl -fsSL https://install.edgee.ai | bash）。
2. 將 Edgee 連接到您的代理或應用程式：對於程式碼代理，使用 CLI/啟動流程將 Edgee 設為透明代理，即可無需修改程式碼即進行 token 壓縮。
3. 透過閘道 API 發送請求：您的應用程式或代理使用 OpenAI 相容介面向 Edgee 發送請求；Edgee 會套用 token 壓縮及任何已設定的路由、工具與控制。
4. 監控結果：使用 Edgee 的可觀測性檢視各模型、各應用程式及各環境的延遲、錯誤及使用量/成本。

使用案例

• 重複長上下文的程式碼代理：使用 Edgee 壓縮程式碼助理的提示，讓多輪程式碼工作階段及長上下文互動消耗更少 token。
• RAG 流程：在檢索增強生成流程的 LLM 呼叫前置入 Edgee，縮減包含檢索上下文的提示 token 佔用。
• 使用多 LLM 供應商的應用程式：透過單一 OpenAI 相容閘道 API 整合一次，即可透過 Edgee 將請求路由至多模型，而無需管理個別供應商專屬邏輯。
• 需要使用量及成本可見性的團隊：使用可觀測性拆解各模型、各應用程式及各環境的延遲、錯誤及使用量/成本。
• 部署私有模型及自訂工具：透過相同閘道 API 提供無伺服器開源 LLM 及私有工具，將模型與工具執行控制於邊緣。

常見問題

Edgee 是現有代理的代理嗎？

Edgee 被描述為程式碼代理的透明代理，從第一個請求起啟用 token 壓縮，且無需修改程式碼。

Edgee 使用 OpenAI 相容 API 嗎？

是的。網站指出 Edgee 位於單一 OpenAI 相容 API 後方。

Edgee 如何降低成本？

Edgee 在提示送達 LLM 供應商前壓縮提示以降低 token 使用量，網站連結此可減少帳單及延遲—特別適用於長上下文及多輪代理。

我可以使用自己的供應商 API 金鑰嗎？

網站表示您可使用 Edgee 的金鑰以求便利，或插入自己的供應商金鑰以控制帳單及自訂模型。

Edgee 的可觀測性可顯示什麼？

Edgee 的可觀測性包含各模型、各應用程式及各環境的延遲、錯誤及使用量/成本。

替代方案

• Provider-specific SDK integrations：不透過閘道路由，而是直接整合一個或多個 LLM 供應商。這可能更簡單，但通常需要為每個供應商單獨處理，且跨模型的共享控制較少。
• 無閘道的 RAG 和提示最佳化層：專注於提示建構、摘要或截斷的工具可減少 token，但可能無法集中路由政策、工具管理和多模型可觀察性。
• 自託管代理/閘道解決方案：自訂或開源閘道/代理可集中 API 相容性和記錄，但 token 壓縮、工具執行和私有模型部署需要額外實作工作。