Inferock icon

Inferock

Inferock 是面向开发者和团队的推理可观测与问责服务,记录 LLM 请求的逐次调用证据,支持客户自管 Provider 密钥、预付费无服务器推理和专用容量,帮助检查失败、用量、耗时、成本信息及符合条件的补救措施。

Inferock

推理可观测性与问责

Inferock 是面向团队和开发者的推理问责与可观测性服务,可通过经过测量的网关路由选定的大语言模型调用。它支持三种运行模式:Inferock Watch 使用客户的 Provider 密钥进行调用,Inferock Serve 通过 Inferock 提供预付费无服务器推理,Inferock Dedicated 则提供按协议配置的预留容量。

该服务会记录每次观测调用的相关证据,包括请求路径、响应、耗时、用量、成本信息和失败详情。这有助于用户调查不可用或失败的响应,并了解可用推理的实际成本。其预期的机密路由旨在通过经过验证的机密工作负载,实现端到端加密的内容处理,但路由是否符合条件取决于具体模型和配置,且不适用于普通 Inferock Watch 连接。

可问责的推理能力

三种推理模式

根据您对可观测性、托管式无服务器访问或专用容量的需求,通过您自己的 Provider 账户、Inferock Serve 或 Inferock Dedicated 路由调用。

逐次调用测量

在 Calls 工作流中检查逐次调用的质量发现、耗时、令牌用量、可用的成本数据、Provider 响应和记录的失败证据。

可审计的收据

使用收据和账本记录,区分平台费用明细、额度活动、用量、重试、失败以及计费相关证据。

合格的机密路由

预期的机密路由旨在使内容在客户端与经过验证的机密工作负载之间保持加密,并要求针对具体模型和配置提供合格性证据。

针对符合条件的失败提供明确补救措施

根据约定条款,Inferock Serve 可针对符合条件的客观 Provider 失败提供有限的非现金服务积分;Dedicated 的服务级别和积分由协议确定。

开发者工作流和文档

文档涵盖账户和密钥设置、首次调用、模型 ID、定价、收据、额度、准入限制和故障排查。

实际用途

  • 监控由 Provider 支持的应用

    连接 Provider 密钥并查看经过测量的调用,以了解质量发现、耗时、用量、成本可见性以及请求失败的位置,同时不改变与 Provider 的计费关系。

  • 运行无服务器推理

    当团队希望通过预付费服务获得模型访问和独立测量,而不想直接管理 Provider API 密钥时,使用 Inferock Serve。

  • 调查失败的调用

    从报告追踪不可用响应或 Provider 失败至底层调用,然后查看记录的证据以及任何适用的服务积分状态。

  • 分析可用响应的成本

    通过比较已计费调用与应用实际可用的响应,评估推理的实际成本,并纳入重试和不可用输出的影响。

  • 规划专用容量

    当应用需要预留容量、约定的配置以及在配置资源前确定的服务条款时,与 Inferock 讨论工作负载需求。

Pros and Cons

Pros

  • 提供独立的逐次调用收据,涵盖响应、耗时、用量、成本信息和失败证据。
  • 提供不同的部署选择:客户自有的 Provider 密钥、预付费无服务器推理和专用容量。
  • 为 Inferock Serve 和 Inferock Dedicated 用量提供可观测性,同时使用用户自有 Provider 密钥时,Inferock Watch 可观测性免费。
  • 记录符合条件的失败补救措施,包括根据约定条款,针对符合条件的 Inferock Serve 失败提供有限的非现金积分。

Cons

  • 模型、区域、容量和服务条款的可用性必须确认;创建账户不保证能够访问。
  • 预期的机密路由并非一概而论的加密保证,也不适用于普通 Inferock Watch 连接。
  • 部分证据仅适用于通过 Inferock 路由或由 Inferock 观测的流量;它不能替代 Provider 的发票记录。

FAQ

如何开始使用 Inferock?

注册后,选择 Inferock Watch、Inferock Serve 或 Inferock Dedicated。Watch 使用您的 Provider 密钥;Serve 通过 Inferock 预付费使用,模型和服务条款在入门过程中确认;Dedicated 则在配置和提供服务前根据协议确定配置和价格。

Inferock 的产品在价格和设置方面有何不同?

使用您自己的 Provider 密钥时,Inferock Watch 免费,Provider 用量费用另行收取。Inferock Serve 采用预付费模式,并按实际供应商成本收取总计 10% 的服务费;Inferock Dedicated 则按照双方约定的容量报价定价。

推理调用失败时会发生什么?

Inferock 会记录请求路径、Provider 响应、耗时、用量、费用信息和失败证据。生成的报告会说明失败原因、产生的费用,以及该事件仅供报告还是符合 Inferock Serve 服务积分的适用条件。

通过 Inferock 进行推理时是否采用端到端加密?

预期的机密路由旨在实现客户端与经过验证的机密工作负载之间的端到端内容加密,模型会在该工作负载内部处理解密后的内容。该路由必须针对确切的模型和配置提供合格性证据;此保护不适用于普通 Inferock Watch 连接。

哪种 Inferock 选项适合我的工作流程?

Inferock Watch 使用您的 Provider 账户,并提供可观测性且不收取 Inferock Watch 费用。Inferock Serve 无需 Provider API 密钥即可提供受支持的模型访问;Dedicated 则根据协议为工作负载预留容量。

Quick Facts

类别
AI 推理可观测性
模式
Inferock Watch、Inferock Serve 和 Inferock Dedicated
主要用户
个人开发者、产品团队和企业
访问模式
Web 账户、用于 Watch 的 Provider 密钥、预付费 Serve 或约定的 Dedicated 容量
文档
快速入门、调用、收据、额度、定价、限制和支持指南
网站
inferock.ai