什么是 Edgee AI Gateway？

Edgee 是一款智能 AI 网关，旨在位于您的应用程序和各种大型语言模型 (LLM) 提供商之间。其核心创新在于Token 压缩，它通过消除冗余来智能地优化边缘的提示词，同时严格保持语义和意图。通过在输入到达 OpenAI、Anthropic 或 Gemini 等服务之前缩小输入大小，Edgee 直接转化为显著的运营节省，通常可将输入 Token 消耗量减少多达 50%，从而降低总体 LLM 账单和延迟。

该网关充当现代 AI 流量管理的至关重要的智能层。它通过单一、熟悉的、兼容 OpenAI 的 API 整合了对 200 多个模型的访问权限，使开发人员能够无缝地切换提供商、实施高级路由、执行隐私控制和管理成本。Edgee 确保组织能够高效地利用强大、前沿的模型，使 AI 扩展既具有成本效益又易于管理。

核心功能

Edgee 提供了一套强大的功能，重点关注优化、控制和兼容性：

• Token 压缩： 通过在边缘智能压缩提示词，在不牺牲语义保留或上下文的情况下，实现高达 50% 的输入 Token 减少。
• 通用 LLM 兼容性： 作为一个兼容 OpenAI、Anthropic、Gemini、xAI、Mistral 等的单一 API 层运行，便于轻松切换提供商。
• 成本治理与可观测性： 使用自定义元数据（例如，功能、团队、项目）标记请求，以进行细粒度使用跟踪。包括用于支出激增的实时成本警报。
• 边缘工具与模型： 支持在边缘调用共享或自定义的私有工具以降低延迟，并允许部署小型、快速的模型用于预处理任务，如分类或编辑。
• 自带密钥 (BYOK)： 提供使用 Edgee 密钥以方便操作的灵活性，或插入您自己的提供商密钥以进行直接计费控制和访问自定义模型配置。
• 响应标准化： 跨不同 LLM 提供商标准化响应，简化集成，并使应用程序架构在面对提供商变更时具有前瞻性。

如何使用 Edgee AI Gateway

开始使用 Edgee 需要将网关集成到您应用程序现有的 LLM 调用结构中。该过程旨在最大限度地减少干扰，利用熟悉的 OpenAI SDK 模式。

1. 集成： 将您的直接 LLM 提供商调用替换为指向 Edgee API 端点（https://api.edgee.ai）的调用。
2. API 密钥设置： 获取您的 Edgee API 密钥。您可以选择使用 Edgee 的密钥，或在 Edgee 仪表板中配置您自己的提供商密钥以进行计费控制。
3. 启用压缩： 在发出请求时，只需在您的有效载荷中设置 enable_compression: true 标志（或使用适当的 SDK 方法）即可激活 Token 优化。
4. 用于治理的标记： 为了进行成本跟踪，请向您的请求添加相关标签。例如，在 SDK 调用中，您可以包含 tags: ['feature:reports', 'team:analytics']。
5. 监控： 利用 Edgee 仪表板监控流量、延迟、错误以及按标签划分的成本明细，并为意外支出设置警报。

这种统一的方法意味着您可以通过更改请求中的 model 参数来测试不同的模型或切换提供商，同时仍能从压缩和治理中受益。

使用场景

在对高吞吐量、长上下文或成本控制有主要要求的场景中，Edgee 特别有价值：

1. 大规模 RAG 管道： 对于频繁向 LLM 传递大型文档或大量上下文窗口的检索增强生成系统，Edgee 的压缩可以显著降低每次查询的成本，同时保持准确检索所需的必要上下文。
2. 多轮智能体工作流程： 在维护长对话历史记录的复杂 AI 智能体中，在将累积的上下文历史记录发送到模型之前对其进行压缩，可以最大限度地减少延迟，并防止跨多轮的成本呈指数级增长。
3. 初创公司/中小企业的成本优化： 运行大量例行 LLM 任务（例如，摘要、分类）的公司可以在无需重写核心应用程序逻辑或降级到功能较弱的模型的情况下，实现即时、可衡量的节省（高达 50%）。
4. 提供商无关的开发： 需要灵活性的团队可以针对 Edgee API 进行功能开发，确保他们永远不会被锁定在单一提供商的定价结构或功能集中，从而允许他们根据当时性能最佳或成本最低的模型动态路由流量。
5. 数据隐私和预处理： 利用边缘的 Edge Models 可以在将核心提示词发送到外部 LLM 提供商之前，在本地对敏感数据进行编辑、分类或丰富，从而增强隐私合规性。

常见问题 (FAQ)

问：Edgee 究竟是如何在不丢失含义的情况下压缩 Token 的？ 答：Edgee 采用专有算法来分析提示词结构和语义，以识别并删除冗余的 Token、填充词或过于冗长的措辞。该过程旨在保留 LLM 进行准确生成所需的核心意图和必要上下文。

问：压缩功能是强制性的吗？还是我只能将 Edgee 用作统一的 API 网关？ 答：压缩功能是可选的。您可以纯粹将 Edgee 用作具有成本治理的统一、智能路由层，或者您可以选择性或普遍启用压缩以实现最大节省。

问：Edgee API 支持哪些 LLM 提供商？ 答：Edgee 支持所有主要提供商，包括 OpenAI、Anthropic、Google Gemini、xAI 和 Mistral 等。目标是通过标准化的 API 接口兼容 200 多种模型。

问：如果触发了成本警报会怎样？ 答：当超过配置的支出阈值时（例如，feature:reports 在 24 小时内花费 500 美元），Edgee 会向您配置的通知渠道发送警报。这使得工程或财务团队能够立即调查，防止成本失控。

问：我可以使用自己的 API 密钥直接向 LLM 提供商进行计费吗？ 答：是的，Edgee 支持自带密钥 (BYOK) 模型。这确保了使用情况直接向您的提供商账户收费，为您提供了对提供商特定计费和速率限制的最大控制权。