Foglamp icon

Foglamp

Foglamp 是建構於 Vercel AI SDK 的 AI agent 觀測層,可追蹤生產環境中 `generateText` 與 `streamText` 的成本、延遲、追蹤、評分與告警。

Foglamp

總覽

Foglamp 是建構於 Vercel AI SDK 的 AI agent 觀測層。其設計可呈現每個 `generateText` 與 `streamText` 呼叫的成本、延遲、token 使用量、追蹤、評分與告警。

此產品聚焦於生產環境中的 agent 工作流程:先一次完成佈署,再檢視執行、對抽樣流量進行評分,並在成本、錯誤率、延遲或品質出現偏移時設定告警規則。來源將其定位為可即時理解 AI agents 正在做什麼,並在使用者發現之前攔截不良輸出。

功能

兩行式 SDK 佈署

只需一次包裝模型,便可在兩行內為每個 `generateText` 與 `streamText` 呼叫加入觀測。此產品被定位為 AI agent 執行的輕量級可觀測性層。

Agent 層級追蹤

追蹤每個 agent span 的延遲與花費,涵蓋完整呼叫流程,包括 orchestrator 與下游 agent。這能幫助團隊看出工作流程中時間與成本的累積位置。

生產環境評分

透過程式碼檢查與 LLM judges 對即時流量衡量生產品質。評分採 0–1 分制與通過門檻,來源也提到諸如有效 JSON、無 PII、語氣與 groundedness 等檢查。

門檻告警

針對成本、延遲、錯誤率與評分設定門檻規則。Foglamp 每分鐘檢查這些規則,並可將範圍限定於某個 agent、model 或專案。

成本洞察

使用即時供應商定價,依 model、agent、工作流程與單一客戶歸屬成本。產品表示其採用真實 token 使用量,且能提供更接近帳單使用量的拆分。

從 Trace 追溯根因

可從告警或失敗的分數直接跳轉到背後的 traces。來源也強調具有 waterfall 風格的 traces,且每個 span 都能看到精確的 prompt 與 response。

使用情境

  • 除錯生產環境中的 agent 行為

    追蹤每次生產環境 agent 執行的延遲、成本與 trace 資料,讓團隊能看出部署後哪些地方有所變化,並找出涉及的精確 model 或步驟。

  • 成本監控與回歸偵測

    依 model、agent、工作流程或客戶監控支出,並設定每日或門檻式限制,以便在費用反映到帳單前先發現回歸。

  • 以評分驅動的生產流量 QA

    使用程式碼檢查與 LLM judges 對即時流量進行評分來衡量通過率,並針對特定 agent 或工作流程隨時間追蹤品質趨勢。

  • 值班告警與事件分流

    當成本、延遲、錯誤率或評分跨過門檻時,透過 email 或 Slack 接收告警,然後查看連結的 traces 來調查尖峰。

  • Agent chain 檢視

    檢視每個 span 的精確 prompts 與 responses 的 waterfall traces,以理解編排式 agent chain 如何產生結果。

Pros and Cons

Pros

  • 可在同一處查看生產 agent 流量的成本、延遲、token、追蹤、評分與告警。
  • 使用真實 token 使用量與即時供應商定價進行成本歸因。
  • 同時支援確定性的程式碼檢查與 LLM judges 進行品質評分。
  • 提供每分鐘告警,並可透過 email 與 Slack 傳送。
  • 可從告警或評分失敗直接下探到底層 trace。

Cons

  • 來源只明確文件化 Vercel AI SDK 整合,因此此處無法確認是否支援其他 SDK 或平台。
  • 部分方案與限制採用按用量計費,因此高流量團隊在採用前可能需要比較 spans、保留時間與告警數量。

FAQ

Foglamp 可整合哪些項目?

Foglamp 以 Vercel AI SDK 為基礎而建構,並可為 `generateText` 與 `streamText` 呼叫加入觀測。來源未說明是否支援其他 SDK 或框架。

Foglamp 有免費方案嗎?

價格頁面顯示有 Free、Pro 與 Enterprise 方案。Free 包含每月 10,000 個 span 與 3 天保留;Pro 為每月 49 美元;Enterprise 為客製化定價。

團隊可以將告警路由到既有管道嗎?

有。來源說明告警可依 agent、model 或整個專案進行範圍設定,並可透過 email 與 Slack 傳送。

評分是如何使用的?

Foglamp 會使用程式碼檢查與 LLM judges,依 0–1 分數對抽樣的生產追蹤進行評分;來源也表示你可以抽樣固定比例或對全部資料進行評分。

有需要留意的限制嗎?

來源強調的是生產環境 agent 執行的即時成本歸因、分散式追蹤、告警與評分,但未說明是否支援其他可觀測性堆疊或非 Vercel SDK。

Quick Facts

類別
開發者工具
主要重點
AI agent 可觀測性
平台
建構於 Vercel AI SDK
關鍵指標
成本、延遲、token、分散式追蹤、評分、告警
定價模式
Free、Pro 與 Enterprise 方案
來源網域
foglamp.dev