Glassbrain

Glassbrain 是什麼？

Glassbrain 是 AI 應用程式的視覺化除錯工具。它會擷取 AI 執行每個步驟——從使用者輸入、解析、擷取、LLM 呼叫到最終輸出——並將該序列呈現為互動式、可點擊的 trace tree。

當輸出錯誤或生產環境發生故障時，Glassbrain 讓你檢查任何步驟後方的資料、調整輸入，並從該點重播，而無需重新部署，從而幫助你了解原因。它也提供修正建議，聚焦於該變更什麼，而非僅報告錯誤。

主要功能

• 推理鏈的視覺化 trace tree：將完整工作流程檢視為節點（例如輸入、解析器、擷取器、文件儲存、LLM 呼叫、格式化器、最終輸出），精準找出問題發生處。
• 互動式節點檢查：懸停或選取 trace 部分，即可檢查中間資料，而非閱讀冗長原始日誌。
• 時光旅行重播：點擊任意節點、更換輸入，即可從該點重播執行，以驗證潛在修正而無需重新部署。
• 並排 Diff 檢視：比較「前後」結果，讓改進與變更一目了然。
• AI 修正建議：根據失敗點產生具體調整提案（例如變更 temperature 或啟用 strict JSON mode）。
• 可分享除錯工作階段：產生除錯工作階段的 URL，讓團隊成員檢視相同 trace 與脈絡。
• 單行設定追蹤：安裝並新增單一 import（npm install glassbrain）即可開始擷取 trace。

如何使用 Glassbrain

1. 使用 npm install glassbrain 安裝套件，並在應用程式新增一個 import，讓 Glassbrain 能擷取 trace。
2. 在 AI 應用程式中重現問題（例如錯誤答案或執行失敗）。
3. 開啟 Glassbrain 工作階段，檢視 trace tree 並找出故障步驟。
4. 檢查與重播：點擊相關節點、變更輸入，從該點重播以快速測試修正。
5. 使用前後 diff 檢視檢討結果，再與團隊分享除錯連結。

使用情境

• 支援聊天機器人準確性檢討：當使用者回報不正確回應（例如退貨政策期限不符）時，使用 trace tree 找出模型推理或擷取導致錯誤輸出的位置。
• 生產環境故障診斷：針對如 OpenAI API 呼叫時的 rate limiting 錯誤，檢查 trace 找出根本原因，並檢視重試行為的影響。
• 提示或生成參數迭代：若輸出格式不一致，套用建議變更（例如啟用 strict JSON mode 或降低 temperature），並以重播與 diff 檢視驗證效果。
• 跨擷取步驟的 LLM 工作流程除錯：當問題源自早期階段（解析、擷取或文件儲存互動）時，在正確節點診斷，而非僅視最終輸出為唯一訊號。
• 團隊事件應變：分享除錯工作階段連結，讓團隊成員檢視相同 trace 並協作重播/修正決策。

常見問題

Glassbrain 擷取什麼？

Glassbrain 擷取 AI 執行的步驟，從使用者輸入、解析、擷取、文件儲存、LLM 呼叫、格式化到最終輸出，並以互動式 trace tree 呈現。

什麼是時光旅行重播？

時光旅行重播表示你可點擊 trace 中的節點、變更該步驟輸入，並從該點重播，而無需重新部署。

Glassbrain 支援哪些模型與框架堆疊？

網站列出支援 OpenAI、Anthropic、LangChain，以及 LlamaIndex，加上 OpenTelemetry 相容端點 用於自訂堆疊。

可以與團隊分享除錯工作階段嗎？

可以。Glassbrain 產生可分享連結（除錯工作階段的 URL），讓他人檢視 trace 與脈絡。

Glassbrain 可以免費試用嗎？

可以。頁面列出 免費方案，每月 $0，無需信用卡。

替代方案

• 使用日誌和追蹤的觀測性/遙測工具（例如基於 OpenTelemetry 的工作流程）：適合擷取系統活動，但通常需要手動日誌分析，且可能無法提供相同節點層級的重播和互動式追蹤樹工作流程。
• LLM 應用監控平台（以追蹤和評估為導向）：在收集 AI 工作流程追蹤資料方面類似；差異通常在於是否提供時間旅行重播、前後差異比較，以及工作階段分享作為核心 UX 的一部分。
• 使用 SDK 層級儀表化的傳統錯誤除錯：有助於識別 API 呼叫失敗，但往往缺乏從輸入到最終輸出的完整 AI 管線統一視覺化追蹤。
• 以提示為焦點的除錯和評估工具：當主要問題是提示行為時有用，但可能無法同樣涵蓋端到端工作流程步驟，如擷取和文件儲存互動。