统一路由多种模型来源
通过单一托管式网关，将请求发送到公共模型提供商、自定义端点和自托管模型。
概述
ngrok.ai 是一款托管式 AI 网关，用于路由、保护并管理发往大型语言模型的流量。该网站将其描述为适用于每个模型的单一网关，覆盖公共提供商、自定义端点以及你自行运行的模型。
其主要目的是让团队将应用指向一个单一 URL，继续使用他们已熟悉的 SDK，并在不重建基础设施的情况下添加访问控制、可观测性、路由和回退行为。
功能
SDK 友好型设置
在受支持的 SDK 中将网关用作基础 URL，并通过更换 API 密钥来路由请求，而无需重构应用。
本地模型私密连接
无需公网 IP 或入站端口即可私密连接本地模型，同时保持其可通过网关访问。
细粒度访问控制
为应用或开发者分配单独的访问密钥，并限制每个密钥可调用的提供商和模型。
跨调用可观测性
跟踪路由流量中的 token、延迟、错误和支出，以便了解网关的使用情况。
故障回退与重试处理
定义健康替代项，并在模型或密钥变慢或失败时重新路由或重试请求。
使用场景
在应用中标准化模型访问
将应用指向一个单一网关 URL，并通过受支持的 SDK 路由请求，而不是分别连接每个模型提供商。
构建本地到云端的回退路径
先将流量发送到自托管模型；当本地模型不可用或不适用时，再回退到公共提供商。
私密连接本地模型
无需暴露公网 IP 或开启入站端口，即可通过网关让私有模型保持可访问。
按范围管理团队访问
为应用或开发者创建单独的访问密钥，并限制每个密钥可调用的模型或提供商。
监控路由用量和成本
查看 token、延迟、错误和支出，以了解路由流量的行为以及成本来源。
Pros and Cons
Pros
- 将公共提供商、自定义端点和自托管模型整合在一个网关后。
- 在常见 SDK 中支持简单的基础 URL 替换工作流。
- 支持为不同应用或开发者设置细粒度访问控制。
- 展示 token、延迟、错误和支出等使用详情。
- 支持与本地模型的私密连接，无需公网 IP 或入站端口。
- 在模型或密钥出现问题时，添加重新路由和重试行为，以帮助请求持续流转。
Cons
- 提供的定价页面返回 404，因此在已收集的来源中，该网站目前未展示完整定价页。
- 所查看的页面提到了关键能力，但未提供完整的集成、限制或实现细节文档。
- 某些高级行为仅以高层方式描述，没有给出明确的配置示例或运行约束。
FAQ
如何开始使用 ngrok.ai？
它被设置为一个托管式网关。来源说明你只需将基础 URL 更改为 https://gateway.ngrok.ai 并替换 API 密钥，然后通过该网关路由请求。
网站上展示了哪些集成？
来源展示了 OpenAI SDK、Anthropic SDK 和 Vercel AI SDK 的示例，并说明该网关可通过 API、Terraform、CLI 或自定义工具调用。但所提供页面未公开完整的集成目录。
它既能与本地模型配合使用，也能与云服务提供商配合使用吗？
该网关可路由到公共提供商以及你自己运行的模型。来源还提到，本地 LLM 也可通过网关访问，无需公网 IP 或入站端口。
ngrok.ai 允许监控和控制哪些内容？
产品描述称，你可以查看汇总后的 routed 调用中的 token、延迟和错误。它还说明提供商仪表板会显示支出，而网关增加了应用、开发者和模型级别的访问控制。
ngrok.ai 如何定价？
定价文本称，路由、可观测性及其他功能采用统一的固定费用；使用 ngrok 密钥时，每百万 token 另收 0.05 美元，并加上推理成本。它还说明没有订阅或承诺。
Quick Facts
- 类别
- AI 网关 / 开发者工具
- 平台
- 托管式 Web 服务
- 主要用户
- 构建 AI 产品的开发者和团队
- 来源域名
- ngrok.ai
- 部署模型
- 带 API 访问的单一托管式网关
- 定价模型
- 按使用量收取固定费用，含额度；未说明订阅或承诺
ngrok.ai 替代品
AakarDev AI
AakarDev AI 帮助团队在一个仪表板中管理 AI provider 访问、项目级设置、日志和分析，支持 BYOK 工作流，并涵盖 OpenAI、Google Gemini、Anthropic、Groq、Mistral AI 和 Perplexity AI。
ByteAsk
ByteAsk 是面向 C 和 C++ 的终端优先 AI 编码 agent，可直接编辑仓库，并在展示 diff 前用真实编译器、调试器、sanitizers 和测试验证修改。提供免费版与付费方案。
CreateOS Sandbox
CreateOS Sandbox 是基于 Firecracker 微型虚拟机的隔离计算环境，用于运行代码和 agent 工作负载，支持私有网络、SDK、CLI 和 MCP 程序化控制。
hob
hob 是面向编码 agent 的独立工作区，可将 agent 会话、终端、历史记录和后续工作围绕你已在用的工具与提供商有序管理，适合重视本地路由、历史和工作区结构控制的开发者。
Ably Chat
Ably Chat 是用于构建自定义实时聊天应用的 chat API 平台，支持房间消息、输入指示、在线状态、表情回应与消息更新，并提供按使用量计费选项。
Manta AI
Manta AI 是面向团队的自治式网页应用测试工具，可从 URL 自动探索应用、映射行为、捕捉回归，并用自然语言生成测试，无需脚本或维护选择器。