breadcrumb

breadcrumb 是什麼？

breadcrumb 是一個開源系統，用於追蹤並檢視 AI 代理中的 LLM 活動。它專注於捕捉每個請求的完整提示與回應，連同時序與 token/成本細節，讓你能探索模型呼叫的運作情形。

專案以 TypeScript 原生且可自架設為特色。旨在幫助開發者理解每個追蹤（而非僅儲存遙測資料），並提供提示、回應、token 使用量與每次追蹤呼叫成本的端到端視圖。

主要功能

• AI 代理呼叫的自架設追蹤：部署於網站提及的平台（例如 Railway、Fly 或自家伺服器），讓追蹤能在你的基礎設施內運行。
• TypeScript 原生 SDK：設計符合 TypeScript 工作流程與儀表化模式。
• 追蹤提示與回應：每個追蹤請求包含實際發送的提示與完整回應。
• 每個追蹤的延遲與成本可見性：顯示呼叫耗時，並提供 token 使用量與成本的逐追蹤細分。
• 低摩擦設定：網站強調「三行程式碼」，無需設定檔或裝飾器，也無冗長指南。
• 與 Vercel AI SDK 的自動追蹤：頁面表示可直接與 generateText 和 streamText 呼叫搭配，僅需加入遙測輔助工具。

如何使用 breadcrumb

1. 在 TypeScript 程式碼中安裝 SDK 並初始化一次。
2. 透過 init({ apiKey, baseUrl }) 建立 breadcrumb 用戶端。
3. 以 initAiSdk(bc) 初始化 AI SDK 遙測輔助工具。
4. 將遙測輔助工具傳入 LLM 呼叫，使用範例所示的 experimental_telemetry 選項。

執行第一個 generateText（或 streamText）呼叫後，追蹤應會出現在 breadcrumb 應用程式中（網站提及示範追蹤體驗）。

網站範例（簡化核心流程）：

import { init } from "@breadcrumb-sdk/core";
import { initAiSdk } from "@breadcrumb-sdk/ai-sdk";

const bc = init({ apiKey, baseUrl });
const { telemetry } = initAiSdk(bc);

const { text } = await generateText({
  // ...
  experimental_telemetry: telemetry("summarize"),
});

使用情境

• 除錯代理中意外模型行為：檢視每個追蹤請求的確切發送提示與回應完成，了解輸出變化的來源。
• 效能與延遲監控：利用每次呼叫的時序資訊（每個請求耗時），找出操作鏈中最慢的請求。
• 成本控制與預算追蹤：檢查每個追蹤的 token 使用量與成本細分，找出消耗最多 token 的呼叫，避免影響帳單。
• 串流與非串流呼叫的可觀測性：儀表化 generateText 與 streamText，追蹤代理請求的完整生命週期。
• 基於自架設的團隊實驗：在 Railway、Fly 或自家伺服器運行追蹤，並依需求擴展開源程式碼以符合工作流程。

常見問題

breadcrumb 只是儲存工具，還是能幫助檢視追蹤？

breadcrumb 被描述為「探索你的追蹤，而非僅儲存」，提供每個請求的提示、回應、時序與成本可見性。

它支援 Vercel AI SDK 嗎？

是的。頁面表示可直接與 Vercel AI SDK 搭配，傳入遙測輔助工具時會自動追蹤 generateText 與 streamText 呼叫。

開始追蹤需要設定檔或裝飾器嗎？

網站宣稱無需設定檔或裝飾器，僅以「三行程式碼」即可啟動。

能在自家基礎設施部署嗎？

是的。頁面描述其可自架設，並提及 Railway、Fly 或自家伺服器的部署選項。

追蹤包含哪些資料？

根據頁面，每個追蹤顯示發送的提示、完整回應、耗時，以及 token 使用量與成本細分。

替代方案

• 開源 LLM 可觀測性/遙測工具：有其他方式記錄提示、輸出與 token/成本資料，通常用於除錯與監控。差異常在與框架整合方式（中介軟體/SDK 鉤子）及 UI 探索追蹤的功能。
• 通用 APM/記錄堆疊（搭配自訂 LLM 儀表化）：可將 LLM 請求/回應中繼資料導向記錄/指標系統，但可能需自行建置更多追蹤與成本/token 細分。
• AI 應用雲端追蹤/分析：託管平台可減少營運工作，但依供應商模式，可能犧牲自架設與開源自訂化。
• 其他提示/回應檢視工具：專注捕捉輸入/輸出的輕量工具有助除錯，但可能不提供此處描述的逐追蹤 token 使用量與成本細分。