Heron icon

Heron

Heron 是一款供 AI agents 與 LLM APIs 使用的被動式可觀測性工具,可從網路流量重建 agent 回合、工具呼叫與 LLM 互動,無需修改 SDK 或串接 proxy。

Heron

概述

Heron 是一款供 AI agents 與 LLM APIs 使用的被動式可觀測性工具,可從網路流量重建 agent 回合、工具呼叫與 LLM 互動,讓你能在不增加 SDK、proxy 或路徑中插樁的情況下檢視效能。

此產品專為供應端部署而設計,因為流量已經處於解密狀態;也支援 `.pcap` 重播、即時介面擷取、來自 cloud-probe 的 ZMQ 輸入,以及用於主機上 TLS 擷取的實驗性 Linux eBPF 來源等支援的擷取模式。首頁將其定位為一種在讓觀測者保持在請求路徑之外的同時,理解 agent 工作負載行為的方法。

Heron 也會把觀察到的流量轉換為營運檢視:即時指標、拓樸圖,以及可匯出的回合資料,用於訓練工作流程。文件與首頁說明它可與 OpenAI、Anthropic、Gemini、Claude Code、Codex CLI 及相關 agent 流量搭配使用,同時強調它是根據流量本身運作,而不是依賴用戶端整合。

核心功能

Agent 回合重建

將多次呼叫的 agent 活動重建為可定址的回合,讓你能一起檢視 planner、工具呼叫、結果與後續動作,而不是只看到零散的 HTTP 請求。

被動式效能監控

顯示如 TTFT、延遲、吞吐量、錯誤率,以及從線上流量重建出的各 agent 組成等即時指標。

多種擷取模式

可從即時網路介面、`.pcap` 檔案、ZMQ cloud-probe 輸入,或用於主機上加密擷取的實驗性 Linux eBPF 來源匯入流量。

服務拓樸檢視

根據在網路上觀察到的位元組分類服務拓樸,並將 inference fleet 以有向圖呈現,包括 vLLM、SGLang、Ollama、llama.cpp 與 LiteLLM 等端點。

用於 SFT 的回合匯出

將 agent 回合或 sessions 匯出為 OpenAI 風格的 messages JSONL 以供 fine-tuning 工作流程使用,並在 wire format 支援時保留工具呼叫、結果與 reasoning。

Agent 與 API 解碼

支援 Claude Code 與 OpenAI Codex CLI 的命名設定檔,以及其他 agent 的通用設定檔,並可解碼 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages 與 Gemini AI Studio 流量。

實際使用情境

  • 除錯 agent 行為

    以重建後的回合檢視個別 agent 執行,讓你看見產生結果的工具呼叫、LLM 訊息與回應順序。

  • 追蹤 API 效能

    在不修改發送請求的用戶端下,從供應端流量監控延遲、TTFT、吞吐量與錯誤率。

  • 事後分析

    重播已擷取的 `.pcap` 檔案流量,以分析過去事件或在即時事件結束後檢視 agent 時間線。

  • 理解服務拓樸

    將 inference 環境對應成服務圖,以了解 clients、proxies 與 vLLM 或 SGLang 等後端之間的關係。

  • 建立 fine-tuning 資料集

    當你需要保留工具呼叫與結果的結構化訓練資料時,將觀察到的回合匯出為 OpenAI 風格的 JSONL。

Pros and Cons

Pros

  • 無需 SDK 變更或工作負載配合,因為它是以被動方式觀察流量。
  • 可重建完整的 agent 回合,而不只是零散的 HTTP 呼叫。
  • 支援即時擷取、pcap 重播、cloud-probe ingestion 與實驗性 eBPF 來源。
  • 提供即時指標、拓樸圖與可匯出的回合資料等營運檢視。
  • 在 pcap 重播結束後可保持 console 可用,方便檢視與批次工作流程。

Cons

  • 部分擷取模式依賴 Linux 特定能力,例如即時介面擷取需要 CAP_NET_RAW,而實驗性 eBPF 來源需要 CAP_BPF。
  • 首頁指出 eBPF 擷取路徑屬於實驗性,且需要主動啟用。
  • 此產品以已解密或可觀察的流量為核心;它並未被描述為用戶端 SDK 或路徑中 proxy。

FAQ

Heron 如何收集流量?

Heron 的設計是在流量已經被解密或已被擷取後再進行觀察,因此它不會位於請求路徑中。文件說明支援即時網路介面擷取、從 `.pcap` 檔案重播、來自 cloud-probe 的 ZMQ 輸入,以及用於主機上加密擷取的實驗性 Linux eBPF 來源。

Heron 支援哪些模型與 agent API?

首頁與文件說明支援 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages,以及 Gemini AI Studio。首頁也提到它可衡量 OpenClaw、Claude、Codex、DeepAgents 等的效能。

Heron 可以用於離線重播或批次執行嗎?

Heron 可以重播 `.pcap` 檔案,並在重播完成後保持 API 與 console 可用;你也可以使用 `--exit-after-drain` 在 pipeline 排空後立即結束。文件也提到 `--no-retention`,適用於匯入時間戳早於保留窗口的批次或 CI 執行。

Heron 的費用是多少?

Heron 是一個 GitHub repository,網站並未描述 Heron 自身有獨立的商業定價頁面。提供來源中唯一的價格資訊是 GitHub 自己的方案頁,這與 Heron 的授權或支援模式無關。

Heron 有哪些平台或部署限制?

首頁表示 Heron 可在不修改 SDK 且不使用 proxy 的情況下運作,而文件則提到 Linux 即時擷取、pcap 重播、cloud-probe ingestion,以及實驗性的 Linux eBPF 來源。部分部署模式為 Linux 專用或需主動啟用,因此支援的環境取決於你選擇的擷取路徑。

Quick Facts

類別
Developer Tool / AI Observability
主要用途
被動監控 agent 與 LLM API 流量
部署方式
供應端或主機上擷取,無需修改 SDK
支援來源
即時介面、`.pcap`、cloud-probe ZMQ、實驗性 Linux eBPF
來源網域
github.com
專案類型
開源 GitHub repository