什麼是 Edgee AI Gateway？

Edgee 是一款智慧型 AI 閘道器，旨在置於您的應用程式與各種大型語言模型 (LLM) 供應商之間。其核心創新在於Token 壓縮，它能透過移除冗餘內容，同時嚴格保留語義和意圖，在邊緣智慧地優化提示詞。透過在輸入到達 OpenAI、Anthropic 或 Gemini 等服務之前縮小輸入規模，Edgee 直接轉化為顯著的營運節省，通常可將輸入 Token 消耗量減少高達 50%，從而降低整體 LLM 帳單和延遲。

此閘道器充當現代 AI 流量管理的關鍵智慧層。它在單一、熟悉的 OpenAI 兼容 API 下整合了對 200 多種模型的存取權，使開發人員能夠無縫切換供應商、實施進階路由、強制執行隱私控制和管理成本。Edgee 確保組織能夠有效利用強大、尖端的模型，使 AI 擴展既具成本效益又易於管理。

關鍵功能

Edgee 提供以優化、控制和相容性為核心的強大功能套件：

• Token 壓縮： 透過在邊緣智慧地壓縮提示詞，在不犧牲語義保留或上下文的情況下，實現高達 50% 的輸入 Token 減少。
• 通用 LLM 相容性： 作為與 OpenAI、Anthropic、Gemini、xAI、Mistral 等相容的單一 API 層運行，可輕鬆切換供應商。
• 成本治理與可觀察性： 使用自訂中繼資料（例如：功能、團隊、專案）標記請求，以進行細粒度的使用情況追蹤。包含即時成本警報，以應對支出激增。
• 邊緣工具與模型： 支援在邊緣調用共用或自訂的私有工具以實現較低的延遲，並允許部署小型、快速的模型來執行分類或編輯等預處理任務。
• 自帶金鑰 (BYOK)： 提供使用 Edgee 金鑰以圖方便，或插入您自己的供應商金鑰以進行直接計費控制和存取自訂模型配置的靈活性。
• 回應標準化： 標準化不同 LLM 供應商的回應，簡化整合，並使應用程式架構免受供應商變更的影響。

如何使用 Edgee AI Gateway

開始使用 Edgee 涉及將閘道器整合到您應用程式現有的 LLM 呼叫結構中。此過程設計為干擾性最小，利用熟悉的 OpenAI SDK 模式。

1. 整合： 將您的直接 LLM 供應商呼叫替換為指向 Edgee API 端點 (https://api.edgee.ai) 的呼叫。
2. API 金鑰設定： 取得您的 Edgee API 金鑰。您可以選擇使用 Edgee 的金鑰，或在 Edgee 儀表板中配置您自己的供應商金鑰以進行計費控制。
3. 啟用壓縮： 發出請求時，只需在您的有效負載中設定 enable_compression: true 標誌（或使用適當的 SDK 方法）即可啟用 Token 優化。
4. 用於治理的標記： 為了進行成本追蹤，請在您的請求中新增相關標籤。例如，在 SDK 呼叫中，您可以包含 tags: ['feature:reports', 'team:analytics']。
5. 監控： 使用 Edgee 儀表板監控流量、延遲、錯誤以及每個標籤的成本細目，並設定警報以應對意外支出。

這種統一的方法意味著您可以透過變更請求中的 model 參數來測試不同的模型或切換供應商，同時仍能從壓縮和治理中受益。

使用案例

在涉及高容量、長上下文或成本控制是主要考量的場景中，Edgee 特別有價值：

1. 大規模 RAG 流程： 對於經常將大型文件或廣泛的上下文視窗傳遞給 LLM 的檢索增強生成 (RAG) 系統，Edgee 的壓縮可以顯著降低每次查詢的成本，同時保持準確檢索所需的必要上下文。
2. 多輪代理工作流程： 在維護長對話歷史記錄的複雜 AI 代理中，在將累積的上下文歷史記錄發送給模型之前將其壓縮，可以最大限度地減少延遲，並防止跨多輪的成本呈指數增長。
3. 新創公司/中小企業的成本優化： 執行大量例行 LLM 任務（例如：摘要、分類）的公司，可以在無需重寫核心應用程式邏輯或降級到功能較弱模型的情況下，立即實現可衡量的節省（高達 50%）。
4. 供應商不可知開發： 需要靈活性的團隊可以針對 Edgee API 構建功能，確保他們永遠不會被鎖定在單一供應商的定價結構或功能集中，從而允許他們動態地將流量路由到當時表現最佳或成本最低的模型。
5. 資料隱私和預處理： 在核心提示詞發送給外部 LLM 供應商之前，利用邊緣模型在本地對敏感資料進行編輯、分類或豐富，從而增強隱私合規性。

常見問題 (FAQ)

問：Edgee 究竟如何在不丟失意義的情況下壓縮 Token？ 答：Edgee 採用專有演算法，分析提示詞結構和語義，以識別並移除冗餘的 Token、填充詞或過於冗長的措辭。此過程旨在保留 LLM 準確生成所需的核心意圖和必要上下文。

問：壓縮功能是強制性的，還是我只能將 Edgee 用作統一的 API 閘道器？ 答：壓縮功能是可選的。您可以純粹將 Edgee 用作具有成本治理的統一、智慧路由層，也可以選擇性或普遍啟用壓縮以實現最大節省。

問：Edgee API 支援哪些 LLM 供應商？ 答：Edgee 支援所有主要的供應商，包括 OpenAI、Anthropic、Google Gemini、xAI 和 Mistral 等。目標是透過標準化的 API 介面提供對 200 多種模型的相容性。

問：如果觸發了成本警報會發生什麼事？ 答：當超過設定的支出閾值時（例如：feature:reports 在 24 小時內花費 500 美元），Edgee 會向您設定的通知通道發送警報。這使得工程或財務團隊能夠立即調查，防止成本失控。

問：我可以使用自己的 API 金鑰直接向 LLM 供應商進行計費嗎？ 答：是的，Edgee 支援自帶金鑰 (BYOK) 模型。這可確保使用情況直接向您的供應商帳戶計費，讓您對供應商特定的計費和速率限制擁有最大的控制權。