Heron icon

Heron

Heron 是一款面向 AI agents 和 LLM API 的被动可观测性工具,可从网络流量重建 agent 回合、工具调用和 LLM 交互,无需更改 SDK 或在路径代理。

Heron

概览

Heron 是一款面向 AI agents 和 LLM API 的被动可观测性工具,可从网络流量重建 agent 回合、工具调用和 LLM 交互,无需添加 SDK、代理或路径内埋点,从而让你在不增加额外接入的情况下检查性能。

该产品面向提供方侧部署,流量通常已经解密;也支持 `.pcap` 回放、实时接口捕获、来自 cloud-probe 的 ZMQ 摄取,以及用于主机上 TLS 捕获的实验性 Linux eBPF 数据源等受支持的捕获模式。主页将其定位为一种理解 agent 工作负载行为的方法,同时让观测器保持在请求路径之外。

Heron 还会把观察到的流量转换为可运营视图:实时指标、拓扑图和可导出的回合数据,供训练工作流使用。文档和主页说明它可用于 OpenAI、Anthropic、Gemini、Claude Code、Codex CLI 及相关 agent 流量,同时强调它直接基于流量本身工作,而不是依赖客户端集成。

核心能力

Agent 回合重建

将多次调用的 agent 活动重建为可定位的回合,便于你把规划器、工具调用、结果和后续动作放在一起检查,而不是看成孤立的 HTTP 请求。

被动性能监控

从重建后的线缆流量中展示 TTFT、延迟、吞吐量、错误率以及各 agent 占比等实时指标。

多种捕获模式

可从实时网络接口、`.pcap` 文件、ZMQ cloud-probe 输入或用于主机加密捕获的实验性 Linux eBPF 源摄取流量。

服务拓扑视图

根据线上观察到的字节分类服务拓扑,并将推断出的推理集群渲染为有向图,包括 vLLM、SGLang、Ollama、llama.cpp 和 LiteLLM 等端点。

用于 SFT 的回合导出

将 agent 回合或会话导出为 OpenAI 风格的 messages JSONL,用于微调工作流;在线缆格式支持时保留工具调用、结果和推理。

Agent 与 API 解码

支持 Claude Code 和 OpenAI Codex CLI 的命名配置文件,以及其他 agent 的通用配置文件;同时可解码 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 和 Gemini AI Studio 流量。

实际用例

  • 调试 agent 行为

    将单次 agent 运行作为重建后的回合进行检查,以便查看导致结果的工具调用、LLM 消息和结果顺序。

  • 跟踪 API 性能

    在不修改发送请求的客户端的情况下,从提供方侧流量监控延迟、TTFT、吞吐量和错误率。

  • 事后分析

    从 `.pcap` 文件回放捕获的流量,以分析过去的事件或在实时事件结束后回顾 agent 时间线。

  • 理解服务拓扑

    将推理环境映射为服务图,以理解客户端、代理以及 vLLM 或 SGLang 等后端之间的关系。

  • 构建微调数据集

    当你需要保留工具调用和结果的结构化训练数据时,将观察到的回合导出为 OpenAI 风格的 JSONL。

Pros and Cons

Pros

  • 无需 SDK 更改或工作负载配合,因为它以被动方式观察流量。
  • 可以重建完整的 agent 回合,而不是只留下孤立的 HTTP 调用。
  • 支持实时捕获、pcap 回放、cloud-probe 摄取以及实验性 eBPF 源。
  • 提供实时指标、拓扑图和可导出的回合数据等运营视图。
  • 在 pcap 回放结束后可保留控制台可用,这对检查和批处理工作流很有用。

Cons

  • 某些捕获模式依赖 Linux 特定能力,例如用于实时接口捕获的 CAP_NET_RAW 或用于实验性 eBPF 源的 CAP_BPF。
  • 主页注明 eBPF 捕获路径处于实验阶段,并且需要主动启用。
  • 该产品围绕已经解密或可观察的流量构建;它并未被描述为客户端 SDK 或路径内代理。

FAQ

Heron 如何收集流量?

Heron 旨在观察已解密或已捕获后的流量,因此不会位于请求路径中。文档描述了实时网卡捕获、从 `.pcap` 文件回放、来自 cloud-probe 的 ZMQ 摄取,以及用于主机上加密捕获的实验性 Linux eBPF 源。

Heron 支持哪些模型和 agent API?

主页和文档说明支持 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 和 Gemini AI Studio。主页还提到它可衡量 OpenClaw、Claude、Codex、DeepAgents 等的性能。

Heron 可以用于离线回放或批处理运行吗?

Heron 可以回放 `.pcap` 文件,并在回放结束后保持 API 和控制台可用;也可以在流水线排空后立即退出,使用 `--exit-after-drain`。文档还提到 `--no-retention`,用于导入时间戳早于保留窗口的批处理或 CI 运行。

Heron 的费用是多少?

Heron 是一个 GitHub 仓库,网站没有为 Heron 本身描述单独的商业定价页面。所提供来源中的唯一定价信息是 GitHub 自己的计划页面,这与 Heron 的许可或支持模式无关。

Heron 有哪些平台或部署限制?

主页说明 Heron 可在无需 SDK 更改且无需代理的情况下运行,文档则提到 Linux 实时捕获、pcap 回放、cloud-probe 摄取,以及实验性的 Linux eBPF 源。一些部署模式依赖 Linux 或需要显式启用,因此支持的环境取决于你选择的捕获路径。

Quick Facts

类别
开发者工具 / AI 可观测性
主要用途
对 agent 和 LLM API 流量进行被动监控
部署方式
提供方侧或主机侧捕获,无需 SDK 更改
支持的数据源
实时接口、`.pcap`、cloud-probe ZMQ、实验性 Linux eBPF
来源域名
github.com
项目类型
开源 GitHub 仓库