Retrace icon

Retrace

Retrace 是專為 AI agents 設計的執行回放引擎,可記錄執行、回放流程,並讓開發者從失敗步驟分支除錯,在發布變更前驗證行為。

Retrace

Retrace 的功能

Retrace 是專為 AI agents 設計的執行回放引擎。它會記錄 agent 執行、回放流程,並讓你從特定步驟分支,以便在發布前檢視某項變更如何改變下游行為。

這個產品圍繞除錯與 regression 工作流程而建構:每個已記錄的執行都可以成為可回放的 trace,失敗路徑可以分支並比較,而提出的修正也能搭配 verdict 與原始失敗結果對照。網站將它定位為協助開發者理解 agent 工作流程中的模型呼叫、工具呼叫、成本、延遲與錯誤的工具。

功能

單一裝飾器記錄

在 Python 中加入 `@retrace.record`,或在 TypeScript 中用 `trace()` 包裝 async 函式。Retrace 會在不需要你在 agent 程式碼中手動處理 span 的情況下擷取執行。

互動式執行時間軸

模型呼叫、工具呼叫、決策、錯誤、提示、回應、 token 使用量、延遲與成本都會被彙整到可互動的時間軸中,方便搜尋、拖曳檢視與回放。

可從任一步驟分支並回放

從造成問題的精確步驟分支出一次執行,回放後續路徑,並並排比較原始與分支後的執行,查看成本與延遲差異。

證明修正工作流程

將 پیشن議的變更套用到失敗執行上並取得判定,例如 improved、regressed、unchanged 或 inconclusive,且具備依賴關係感知的重新執行與 bisect 到第一個分歧步驟的能力。

評估與控制功能

Retrace 包含 CI regression gates、guardrails、enforcement、failure taxonomy、sessions,以及 multi-agent detectors,以支援更廣泛的評估與控制工作流程。

韌性與隱私處理

網站表示,敏感值會在儲存前先遮罩,且離線緩衝區加上傳輸回退機制有助於事件在暫時連線問題下仍能保留。

常見使用情境

  • 除錯線上 agent 失敗

    擷取 production 中的 agent 執行,使一次失敗變成可回放的 trace,並保留原始 LLM 呼叫、工具呼叫與錯誤。

  • 調查損壞的步驟

    從改變行為的確切步驟分支,回放後續路徑,並比較原始與修改後的執行,以釐清 regression 的原因。

  • 在發布前驗證修正

    將提議的 prompt、工具、模型或 temperature 變更重新套用到失敗 trace 上,並依判定結果決定修正是否真的更好。

  • 在 CI 中執行 agent regression 檢查

    使用 CI regression gates 與評估工作流程,當 agent 輸出相較於已知良好的執行發生退化時,阻止變更發布。

  • 追蹤多 agent 交接

    將 tracing 與 session 可視性應用於多 agent 系統,當交接只靠 logs 難以追蹤時尤其有幫助。

Pros and Cons

Pros

  • 可在同一條時間軸中彙整模型呼叫、工具呼叫、成本、延遲與錯誤。
  • 以簡單的裝飾器或包裝器即可支援 Python 與 TypeScript 的 instrumentation。
  • 可從失敗步驟分支,並回放下游路徑。
  • 提供以判定為導向的工作流程,便於在發布前驗證修正。
  • 包含適用於個人、團隊與企業使用的價格方案。

Cons

  • 公開來源未提供完整的整合矩陣或部署指南。
  • 網站對某些功能的描述屬於高層級,因此在提供的材料中,精確限制與實作細節並未完整說明。
  • 回放、證明修正與 CI 閘門等進階功能屬於付費方案。

FAQ

Retrace 能幫你做什麼?

Retrace 會記錄 AI agent 的執行流程,讓你能回放一次執行、從失敗步驟分支,並檢視涉及的精確 LLM 呼叫、工具呼叫與錯誤。網站也描述了「證明修正」工作流程,可將變更後的執行回放至失敗情境,並判定為改善、退步、不變或無法判定。

要如何用 Retrace 為 agent 加上監測?

來源中顯示了 Python 裝飾器 `@retrace.record` 與 TypeScript 的 `trace()` 包裝器。也記載了用於擷取、取得、列出 trace,以及建立分支/回放工作流程的 REST API 端點。

Retrace 有免費方案嗎?

定價頁包含免費方案,以及付費的 Starter、Pro、Teams 和 Enterprise 方案。付費層級提供更高的 trace 限額、更長的保留時間、回放功能、修正證明執行、評估閘門與協作功能。

除了基本記錄之外,Retrace 支援哪些工作流程?

Retrace 的設計核心是一條工作流程:生產環境中的失敗會變成已記錄的 trace,變更過的步驟可被分支與回放,並在發布前比較結果。來源也提到 regression tests、CI eval gates、guardrails、enforcement、failure taxonomy 與 multi-agent sessions 等相關能力。

支援哪些整合?

提供的來源沒有列出完整的整合目錄。不過其中確實顯示支援 Python 與 TypeScript 的 instrumentations、主要模型供應商呼叫,以及 REST API。

Quick Facts

類別
開發者工具
產品類型
AI agents 的執行回放引擎
主要工作流程
記錄、回放、分支、比較,並證明 agent 執行的修正
顯示支援語言
Python、TypeScript
定價
免費方案加上付費 Starter、Pro、Teams 與 Enterprise 層級
來源網域
retraceai.tech