Retrace icon

Retrace

Retrace 是面向 AI 代理的执行回放引擎,可记录运行、重放流程,并允许开发者从失败步骤分叉,便于在上线前调试行为;付费方案还支持修复验证、CI 回归门控和评估控制。

Retrace

Retrace 的功能

Retrace 是面向 AI 代理的执行回放引擎。它会记录代理运行、回放这些运行,并允许你从某个特定步骤分叉,以便在发布前检查某项更改如何影响后续行为。

该产品围绕调试和回归工作流构建:每一次已记录的运行都可以变成可回放的 trace,失败路径可以被分支和对比,提出的修复也可以针对原始失败进行检查并给出结论。网站将其定位为一款面向开发者的工具,帮助理解代理工作流中的模型调用、工具调用、成本、延迟和错误。

功能

单装饰器记录

在 Python 中添加 `@retrace.record`,或在 TypeScript 中用 `trace()` 包装异步函数。Retrace 会捕获执行过程,而无需在代理代码中手动处理 span。

可交互的执行时间线

模型调用、工具调用、决策、错误、提示、响应、token 用量、延迟和成本会汇集到一个可交互的时间线中,你可以搜索、拖动查看并回放。

从任意步骤分叉并回放

从导致失败的确切步骤分叉一次运行,回放后续路径,并将原始运行和分叉运行并排比较成本与延迟差异。

修复验证工作流

将拟议变更与失败运行进行回放比对,并获得改进、回退、无变化或无法判定等结论;同时支持依赖感知的重新执行和二分定位到第一个分歧步骤。

评估与控制功能

Retrace 包含 CI 回归门控、护栏、强制执行、失败分类法、会话以及多代理检测器,用于更广泛的评估和控制工作流。

弹性与隐私处理

网站称,敏感值会在存储前被脱敏,离线缓冲区加上传输回退机制可帮助事件在临时连接问题期间继续保存。

常见用例

  • 调试线上的代理故障

    捕获生产环境中的代理运行,使失败变成可回放的 trace,并保留原始 LLM 调用、工具调用和错误。

  • 调查出错的步骤

    从导致行为变化的确切步骤分叉,回放后续路径,并对比原始运行与修改后的运行,以定位回归原因。

  • 在发布前验证修复

    将拟议的提示、工具、模型或 temperature 变更重新应用到失败 trace 上,并根据结论判断修复是否真的更好。

  • 在 CI 中运行代理回归检查

    使用 CI 回归门控和评估工作流,在代理输出相对已知良好运行出现回退时阻止其上线。

  • 追踪多代理交接

    将跟踪和会话可见性应用于多代理系统,在仅靠日志时很难梳理的交接环节中追踪问题。

Pros and Cons

Pros

  • 在一个时间线中汇总模型调用、工具调用、成本、延迟和错误。
  • 通过简单的装饰器或包装器支持 Python 和 TypeScript 埋点。
  • 可以从失败步骤分叉并回放后续路径。
  • 提供以结论为导向的工作流,用于在发布前验证修复。
  • 提供面向个人、团队和企业使用的定价层级。

Cons

  • 公开来源未提供完整的集成矩阵或部署指南。
  • 网站上对部分能力的描述较为概括,因此在所提供材料中,具体限制和实现细节并未完全说明。
  • 回放、修复验证和 CI 门控等高级功能仅包含在付费方案中。

FAQ

Retrace 能帮你做什么?

Retrace 会记录 AI 代理的执行过程,让你可以回放一次运行、从失败步骤分叉,并检查其中涉及的具体 LLM 调用、工具调用和错误。网站还描述了“修复验证”工作流,即将变更后的运行与失败结果进行回放比对,并判断为改进、回退、无变化或无法判定。

如何使用 Retrace 为代理做埋点?

源内容显示了 Python 装饰器 `@retrace.record` 和 TypeScript 的 `trace()` 包装器。文档还说明了用于摄取、获取、列出 traces 以及创建分叉/回放工作流的 REST API 端点。

Retrace 有免费方案吗?

定价页面包含免费方案,以及付费的 Starter、Pro、Teams 和 Enterprise 方案。付费层级增加了更高的 trace 限额、更长的保留期、回放功能、修复验证运行、评估门控和协作功能。

除基础记录外,Retrace 支持哪些工作流?

Retrace 面向一种工作流:生产环境中的失败会变成一条已记录的 trace,变更后的步骤会被分叉并回放,然后在上线前对结果进行比较。源内容还提到回归测试、CI 评估门控、护栏、强制执行、失败分类法和多代理会话等相关能力。

支持哪些集成?

所提供的来源没有列出完整的集成目录。不过其中确实展示了对 Python 和 TypeScript 埋点、主要模型提供方调用以及 REST API 的支持。

Quick Facts

类别
开发者工具
产品类型
面向 AI 代理的执行回放引擎
主要工作流
记录、回放、分叉、比较并验证代理运行中的修复
展示的支持语言
Python、TypeScript
定价
免费方案加付费 Starter、Pro、Teams 和 Enterprise 层级
源域名
retraceai.tech