GoModel icon

GoModel

GoModel 是开源的基于 Go 的 AI 网关,为 31 家服务商提供统一的 OpenAI 和 Anthropic 兼容端点,集中管理模型别名、工作流、缓存、故障转移、用量、预算与审计日志,GoModel Pro 还提供企业功能。

GoModel

面向多服务商 AI 流量的开源网关

GoModel 是一个使用 Go 编写的开源 AI 网关。它在来自 31 家服务商的模型前设置单一端点,并同时接受 OpenAI 兼容和 Anthropic 兼容请求,使现有的基于 SDK 的应用能够使用统一的网关接口。

该网关旨在集中管理模型路由和运营控制。其列出的功能包括模型别名、限定范围的工作流、精确响应缓存和语义响应缓存、故障转移、断路器、速率限制、预算、审计日志、用量分析和管理控制面板。商业版 GoModel Pro 还增加了提示词压缩、OIDC SSO、按子级划分的配额模板和创始人级支持。

网关功能

OpenAI 和 Anthropic 兼容 API

通过一个端点提供多个服务商的模型,并接受 OpenAI 和 Anthropic 客户端格式;更换已配置的服务商时无需大量重写应用。

别名和限定范围的工作流

将服务商模型映射为别名,并应用限定范围的工作流,使应用能够使用稳定名称和针对请求的策略,而不必在每个客户端中嵌入服务商详情。

精确缓存和语义缓存

通过精确匹配或语义匹配缓存响应,并在控制面板中查看提示词缓存状态,以管理重复请求并检查缓存行为。

弹性与支出控制

通过故障转移和断路器机制绕开服务商故障,同时应用速率限制、预算和价格覆盖设置来控制流量与支出。

运维与可观测性

在管理控制面板中查看实时审计日志和用量分析。主页还列出了多个 API 密钥、响应生命周期跟踪、OpenTelemetry 追踪和 MCP 网关。

GoModel Pro 扩展功能

商业 Pro 版本增加提示词压缩、用于控制面板的 OIDC 单点登录、按子级划分的配额模板和创始人级支持。

实际使用场景

  • 多服务商应用后端

    在应用与多个模型服务商之间放置一个 API 端点,然后更改已配置的服务商或模型别名,而无需修改每个客户端集成。

  • 共享的内部 AI 访问

    通过使用多个 API 密钥、限定范围的工作流、速率限制、预算和审计日志,为团队提供受控的模型访问方式,以监督请求和支出。

  • 高频重复工作负载

    对重复提示词使用精确缓存或语义缓存,并在应用生成重复或相似请求时,在控制面板中查看缓存状态。

  • 具备弹性的生产路由

    通过配置故障转移和断路器机制,让应用在服务商中断期间继续运行,同时使用用量分析和 OpenTelemetry 追踪调查网关流量。

  • 可移植的网关部署

    当团队希望在 OpenAI 或 Anthropic 风格客户端前部署 Go 二进制文件或基于 Docker 的服务时,可在本地、边缘设备或 Kubernetes 中部署轻量级网关。

Pros and Cons

Pros

  • OpenAI 和 Anthropic 兼容端点让现有客户端能够使用相同的网关接口。
  • 根据产品对比页面,单个 Go 二进制文件和 Docker 镜像提供了紧凑的部署方式。
  • 路由、缓存、故障转移、预算、速率限制、审计日志和用量跟踪集中在一个网关中。
  • 管理控制面板提供服务商配置、用量分析和实时审计日志可见性。
  • 根据对比页面,该项目以 MIT 许可证发布。

Cons

  • 提供的产品页面指出支持 31 家服务商,但未列出具体名称,因此在采用前应核实兼容性。
  • 部分功能取决于版本或版本类型:OIDC SSO 和提示词压缩被描述为 GoModel Pro 功能,而其他一些功能则列在 v0.2 路线图中。
  • 提供的 /pricing 路由不是可正常使用的通用定价页面;只有 GoModel Pro 页面提供商业定价信息。

FAQ

如何安装和配置 GoModel?

GoModel 可以通过 Shell 安装程序、PowerShell 安装程序或 Docker 镜像进行安装。启动后,可通过环境变量、config.yaml 或控制面板的 Providers 页面配置服务商。

GoModel 支持哪些 API 格式和 SDK?

可以。GoModel 在 /v1/chat/completions 提供 OpenAI 兼容端点,并在 /v1/messages 提供 Anthropic 兼容端点。只需更改基础 URL,即可让现有的 OpenAI 和 Anthropic SDK 客户端指向该网关。

GoModel 可以部署在哪里?

该网关可以通过 Docker 在本地运行,也可以作为 GoModel 二进制文件运行;对比页面还介绍了在笔记本电脑、边缘设备和 Kubernetes 上的部署方式。提供的来源未说明完整的生产环境要求或平台限制。

GoModel 的服务商覆盖范围有多广?

GoModel 的主页称其支持 31 家服务商,但提供的源内容未列出具体名称。文中称 LiteLLM 拥有更广泛的目录,覆盖 100 多家服务商,因此应根据你的需求核实服务商覆盖范围。

GoModel Pro 包含哪些功能?

开源网关包含审计日志、预算、速率限制、缓存、故障转移和管理控制面板等功能。GoModel Pro 还提供提示词压缩、OIDC SSO、按子级划分的配额模板和创始人级支持;Pro 页面列出的价格为每月 499 美元或每年 4,999 美元,并提供 30 天退款保证。

Quick Facts

类别
开发者工具
产品类型
开源 AI 网关
实现语言
Go
服务商覆盖范围
31 家服务商
API 兼容性
OpenAI 和 Anthropic
商业版本
GoModel Pro