Foglamp icon

Foglamp

Foglamp 是基于 Vercel AI SDK 的 AI agents 可观测性层,帮助团队监控生产环境 `generateText` 和 `streamText` 调用的成本、延迟、trace、评估分数与告警。

Foglamp

概览

Foglamp 是基于 Vercel AI SDK 的 AI agents 可观测性层。它旨在展示每个 `generateText` 和 `streamText` 调用的成本、延迟、token 用量、trace、评估分数与告警。

该产品聚焦于生产环境中的 agent 工作流:一次埋点,然后查看运行记录、对抽样流量打分,并在成本、错误率、延迟或质量漂移时设置告警规则。来源将其定位为一种帮助团队实时了解 AI agents 行为、并在用户发现坏输出之前提前捕捉问题的方式。

功能特性

两行 SDK 埋点

只需一次封装模型,用两行代码即可为每个 `generateText` 和 `streamText` 调用添加监控。该产品定位为 AI agent 运行的轻量级可观测性层。

agent 级追踪

跟踪整个调用流程中的每个 agent span、延迟和支出,包括 orchestrator 和下游 agent。这有助于团队查看工作流中时间和成本的累积位置。

生产环境评估

使用代码检查和 LLM judges 对线上流量衡量生产质量。evals 采用 0–1 量表并设置通过阈值,来源还提到有效 JSON、无 PII、语气和 groundedness 等检查。

阈值告警

为成本、延迟、错误率和 eval 分数设置阈值规则。Foglamp 每分钟检查这些规则,并可将其限定到某个 agent、模型或项目。

成本洞察

使用实时供应商定价,按模型、agent、工作流和单个客户归因成本。产品称其使用真实 token 用量,并支持更接近账单用量的拆分。

从 trace 到根因的工作流

可从告警或失败评分直接跳转到其背后的 trace。来源还强调了瀑布式 trace,以及每个 span 的精确 prompt 和 response。

使用场景

  • 调试生产环境中的 agent 行为

    跟踪每次生产 agent 运行的延迟、成本和 trace 数据,以便团队在部署后查看哪些内容发生了变化,并识别涉及的具体模型或步骤。

  • 成本监控与回归检测

    按模型、agent、工作流或客户监控支出,并设置按天或按阈值的限制,在费用出现在账单上之前发现回归。

  • 面向生产流量的评估驱动 QA

    使用代码检查和 LLM judges 为线上流量打分,以衡量通过率,然后针对特定 agent 或工作流跟踪质量随时间的变化。

  • 值班告警与事件分诊

    当成本、延迟、错误率或 eval 分数超过阈值时,接收 email 或 Slack 告警,然后查看关联的 trace 进行调查。

  • agent 链路检查

    查看带有每个 span 的精确 prompt 和 response 的瀑布式 trace,以理解一个编排的 agent 链如何产生结果。

Pros and Cons

Pros

  • 在生产 agent 流量中,将成本、延迟、token、trace、eval 和告警集中呈现在一个地方。
  • 使用真实 token 用量和实时供应商定价进行成本归因。
  • 同时支持确定性的代码检查和 LLM judges 进行质量评分。
  • 提供按分钟的告警,并支持 email 和 Slack 投递。
  • 允许用户从告警或 eval 失败直接下钻到底层 trace。

Cons

  • 来源只明确记录了与 Vercel AI SDK 的集成,因此这里无法确认对其他 SDK 或平台的支持。
  • 部分方案和额度按用量计费,因此高流量团队在采用前可能需要对比 span 数、保留期和告警数量。

FAQ

Foglamp 集成哪些内容?

Foglamp 围绕 Vercel AI SDK 构建,并对 `generateText` 和 `streamText` 调用进行监控。来源未描述其他受支持的 SDK 或框架。

Foglamp 有免费方案吗?

定价页面显示有 Free、Pro 和 Enterprise 计划。Free 包含每月 10,000 个 span 和 3 天保留期;Pro 为每月 49 美元;Enterprise 为定制定价。

团队可以将告警路由到现有渠道吗?

可以。来源说明告警可以限定到某个 agent、模型或整个项目,并发送到 email 和 Slack。

evals 如何使用?

Foglamp 使用代码检查和 LLM judges 对抽样的生产 trace 按 0–1 量表打分;来源还说明你可以固定抽样比例,或对全部流量评分。

需要注意哪些限制?

来源强调的是面向生产 agent 运行的实时成本归因、分布式 trace、告警和 evals,但未说明是否支持无关的可观测性栈或非 Vercel SDK。

Quick Facts

类别
开发者工具
主要关注点
AI agent 可观测性
平台
基于 Vercel AI SDK 构建
关键指标
成本、延迟、token、分布式 trace、eval、告警
定价模式
Free、Pro 和 Enterprise 计划
来源域名
foglamp.dev