Edgee

Edgee 是什么？

Edgee 是一个边缘原生 AI 网关，位于您的应用或编码代理与 LLM 供应商之间。其核心功能是在请求到达模型供应商前压缩提示词，目标是减少 token 使用量（从而降低成本和延迟），同时保留意图。

它提供单一 OpenAI 兼容 API，可路由请求至 200+ 模型，并添加“边缘智能”层，用于路由策略、成本控制、私有模型、共享工具和可观测性。

主要特性

• 提示词 token 压缩：在发送请求至 LLM 供应商前减少提示词大小，针对长上下文、RAG 管道和多轮代理运行降低 token 数量。
• OpenAI 兼容网关 API：提供单一 API 接口，可路由流量至 200+ 模型，而无需单独的供应商特定集成。
• 编码代理的透明代理模式：专为代理设计，无需代码修改，从首条请求起即应用压缩。
• 路由策略和成本控制：添加边缘级控制，用于管理请求路由和模型使用。
• 边缘工具：支持调用 Edgee 管理的共享工具，并部署您自己的私有工具，更靠近用户和供应商以实现更严格控制和更低延迟。
• 自带密钥或 Edgee 管理密钥：可使用 Edgee 的密钥以求便利，或插入您自己的供应商密钥以保持计费控制和自定义模型配置。
• 可观测性：跟踪延迟、错误和使用情况，包括按模型、按应用和按环境的成本。
• 通过无服务器开源 LLM 部署私有模型：按需部署无服务器开源模型，并通过同一网关 API 与公共供应商一同暴露。

如何使用 Edgee

1. 安装 Edgee CLI：运行站点显示的安装命令（curl -fsSL https://install.edgee.ai | bash）。
2. 将 Edgee 连接至您的代理或应用：对于编码代理，使用 CLI/启动流程将 Edgee 连接为透明代理，从而无需代码修改即可压缩 token。
3. 通过网关 API 发送请求：您的应用或代理使用 OpenAI 兼容接口向 Edgee 发送请求；Edgee 会应用 token 压缩以及任何配置的路由、工具和控制。
4. 监控结果：使用 Edgee 的可观测性查看按模型、按应用和按环境的延迟、错误及使用/成本情况。

使用场景

• 重复长上下文的编码代理：使用 Edgee 为编码助手压缩提示词，使多轮编码会话和长上下文交互消耗更少 token。
• RAG 管道：在检索增强生成流程中，将 Edgee 置于 LLM 调用前端，减少包含检索上下文的提示词 token 占用。
• 使用多个 LLM 供应商的应用：通过单一 OpenAI 兼容网关 API 集成一次，即可通过 Edgee 路由请求至众多模型，而无需管理单独的供应商特定逻辑。
• 需要使用和成本可见性的团队：使用可观测性分解按模型、按应用和按环境的延迟、错误及使用/成本。
• 部署私有模型和自定义工具：通过同一网关 API 暴露无服务器开源 LLM 和私有工具，将模型和工具执行控制在边缘。

常见问题

Edgee 是现有代理的代理吗？

Edgee 被描述为编码代理的透明代理，从首条请求起启用 token 压缩，且无需代码修改。

Edgee 使用 OpenAI 兼容 API 吗？

是的。站点指出 Edgee 位于单一 OpenAI 兼容 API 后端。

Edgee 如何降低成本？

Edgee 通过在请求到达 LLM 供应商前压缩提示词减少 token 使用，站点将其与更低账单和更低延迟相关联——尤其适用于长上下文和多轮代理。

我可以使用自己的供应商 API 密钥吗？

站点表示，您可使用 Edgee 的密钥以求便利，或插入自己的供应商密钥以实现计费控制和自定义模型。

Edgee 的可观测性显示什么？

Edgee 的可观测性包括按模型、按应用和按环境的延迟、错误及使用/成本。

替代方案

• 特定供应商 SDK 集成：不通过网关路由，而是直接与一个或多个 LLM 供应商集成。这可能更简单，但通常需要为每个供应商单独处理，且模型间共享控制较少。
• 无网关的 RAG 和提示词优化层：专注于提示词构建、摘要或截断的工具可减少 token，但可能无法集中路由策略、工具管理和多模型可观测性。
• 自托管代理/网关解决方案：自定义或开源网关/代理可集中 API 兼容性和日志记录，但 token 压缩、工具执行和私有模型部署需额外实现工作。