Glassbrain

Glassbrain 是什么？

Glassbrain 是 AI 驱动应用的视觉调试工具。它捕获 AI 运行的每个步骤——从用户输入到解析、检索、LLM 调用直至最终输出——并将其渲染为交互式、可点击的追踪树。

当输出错误或生产环境中出现故障时，Glassbrain 通过让你检查任意步骤背后的数据、调整输入并从该点回放（无需重新部署）来帮助你理解原因。它还提供修复建议，聚焦于需要更改的内容，而非仅报告错误。

主要功能

• 推理链的可视化追踪树：将完整工作流显示为节点（例如输入、解析器、检索器、文档存储、LLM 调用、格式化器、最终输出），快速定位问题发生点。
• 交互式节点检查：悬停或选择追踪部分，即可查看中间数据，而非阅读冗长原始日志。
• 时光回溯回放：点击任意节点，替换输入，从该点回放运行，以验证潜在修复方案，无需重新部署。
• 并排差异视图：对比“之前”和“之后”结果，让改进和变更一目了然。
• AI 修复建议：基于失败点生成具体调整提案（例如更改 temperature 或启用 strict JSON 模式）。
• 可共享调试会话：生成调试会话 URL，让团队成员审视相同追踪和上下文。
• 一行代码设置追踪：安装并添加单个导入（npm install glassbrain）即可开始捕获追踪。

如何使用 Glassbrain

1. 使用 npm install glassbrain 安装 包，并在应用中添加一个导入，让 Glassbrain 捕获追踪。
2. 在 AI 应用中重现问题（例如错误答案或运行失败）。
3. 打开会话 在 Glassbrain 中查看追踪树，识别故障步骤。
4. 检查并回放：点击相关节点，修改输入，从该点回放以快速测试修复。
5. 使用 before/after 差异视图审视结果，然后与团队分享调试链接。

使用场景

• 支持聊天机器人准确性审查：当用户报告不正确响应（例如退货政策期限不匹配）时，使用追踪树找出模型推理或检索导致错误输出的位置。
• 生产故障诊断：针对 OpenAI API 调用中的限流错误等，检查追踪确定根本原因，并查看重试行为的影响。
• 提示或生成参数迭代：若输出格式不一致，应用建议变更（例如启用 strict JSON 模式或降低 temperature），并用回放和差异视图验证效果。
• 跨检索步骤的 LLM 工作流调试：当问题源于早期阶段（解析、检索或文档存储交互）时，在正确节点诊断，而非仅视最终输出为唯一信号。
• 团队协作事件响应：分享调试会话链接，让团队成员检查相同追踪并协作回放/修复决策。

常见问题

Glassbrain 捕获什么？

Glassbrain 捕获 AI 运行步骤，从用户输入到解析、检索、文档存储、LLM 调用、格式化及最终输出，并以交互式追踪树呈现。

什么是时光回溯回放？

时光回溯回放指点击追踪中的节点，修改该步骤输入，从该点回放，无需重新部署。

Glassbrain 支持哪些模型和框架栈？

站点声明支持 OpenAI、Anthropic 和 LangChain，以及 LlamaIndex，加上 OpenTelemetry 兼容端点 用于自定义栈。

可以与团队分享调试会话吗？

可以。Glassbrain 生成可共享链接（调试会话 URL），他人可查看追踪和上下文。

Glassbrain 可以免费试用吗？

可以。页面列出 免费 方案，$0/月，无需信用卡。

替代方案

• 使用日志和追踪的可观测性/遥测工具（如基于 OpenTelemetry 的工作流）：有助于捕获系统活动，但通常需要手动日志分析，且可能无法提供同等节点级回放和交互式追踪树工作流。
• LLM 应用监控平台（追踪与评估导向）：在收集 AI 工作流追踪数据方面相似；差异通常取决于它们是否将时间旅行回放、前后差异对比以及会话共享作为核心用户体验的一部分。
• 使用 SDK 级插桩的传统错误调试：有助于识别 API 调用中的故障，但往往缺乏从输入到最终输出的完整 AI 管道统一可视化追踪。
• 专注于提示的调试与评估工具：当主要问题是提示行为时有用，但可能无法以相同方式覆盖端到端工作流步骤，如检索和文档存储交互。