1つのデコレータで記録
Pythonでは `@retrace.record` を追加し、TypeScriptでは非同期関数を `trace()` でラップします。Retraceは、エージェントコードに手動でspanの配線を追加しなくても実行を記録します。
Retrace
Retraceは、AIエージェントの実行を記録・再生し、失敗したステップから分岐して挙動を検証できる実行リプレイエンジンです。修正検証、CI回帰ゲート、評価制御にも対応。
Retraceの機能
Retraceは、AIエージェント向けの実行リプレイエンジンです。エージェントの実行を記録し、再生し、特定のステップからforkして、変更が下流の挙動をどのように変えるかを出荷前に確認できます。
この製品は、デバッグと回帰のワークフローを中心に構成されています。記録された各実行は再生可能なトレースになり、失敗した経路は分岐して比較でき、提案された修正は判定付きで元の失敗に対して確認できます。サイトでは、モデル呼び出し、ツール呼び出し、コスト、レイテンシ、エラーをエージェントのワークフロー内で把握したい開発者向けのツールとして位置づけられています。
機能
インタラクティブな実行タイムライン
モデル呼び出し、ツール呼び出し、判断、エラー、プロンプト、応答、トークン使用量、レイテンシ、コストが、検索、スクラブ、再生できるインタラクティブなタイムラインにまとめられます。
任意のステップからforkして再生
壊れた正確なステップから実行をforkし、未来のパスを再生して、コストとレイテンシの差分とともに元の実行とfork後の実行を並べて比較できます。
修正証明ワークフロー
提案した変更を失敗した実行に対して再生し、依存関係を考慮した再実行と最初の分岐ステップまでの二分探索を伴う、改善、悪化、変化なし、判断不能などの判定を取得できます。
評価と制御機能
Retraceには、より広範な評価と制御のワークフロー向けに、CI回帰ゲート、ガードレール、強制適用、障害分類、セッション、多エージェント検出が含まれます。
耐障害性とプライバシー対応
サイトでは、機微な値は保存前にマスキングされ、オフラインバッファと送信フォールバックにより一時的な接続問題でもイベントが失われにくいと説明しています。
一般的なユースケース
ライブのエージェント障害をデバッグする
本番環境のエージェント実行を記録して、失敗を元のLLM呼び出し、ツール呼び出し、エラーが保持された再生可能なトレースにします。
壊れたステップを調査する
動作を変えた正確なステップからforkし、未来のパスを再生して、元の実行と変更後の実行を比較し、回帰の原因を特定します。
リリース前に修正を検証する
提案したプロンプト、ツール、モデル、温度の変更を失敗したトレースに対して再実行し、判定を使って修正が実際により良いかを判断します。
CIでエージェント回帰チェックを実行する
CI回帰ゲートと評価ワークフローを使って、既知の良好な実行に対してエージェント出力が劣化した場合に、その変更の出荷を止めます。
マルチエージェントの引き継ぎを追跡する
ハンドオフがあるとログだけでは失敗を追いにくいマルチエージェントシステムに、トレースとセッションの可視性を適用します。
Pros and Cons
Pros
- モデル呼び出し、ツール呼び出し、コスト、レイテンシ、エラーを1つのタイムラインにまとめて記録できます。
- シンプルなデコレータまたはラッパーで、PythonとTypeScriptの計測をサポートします。
- 失敗したステップからforkして、その後のパスを再生できます。
- 出荷前に修正を検証するための判定重視のワークフローを提供します。
- 個人、チーム、エンタープライズ利用向けの料金プランがあります。
Cons
- 公開ソースには、統合の完全な一覧やデプロイガイドは記載されていません。
- 一部の機能はサイト上で高レベルに説明されているだけで、正確な制限や実装詳細は提供資料では十分に文書化されていません。
- 再生、修正証明、CIゲートなどの高度な機能は有料プランに含まれます。
FAQ
Retraceは何に役立ちますか？
Retraceは、AIエージェントの実行を記録して再生し、失敗したステップから分岐して、関与した正確なLLM呼び出し、ツール呼び出し、エラーを確認できるようにします。サイトではまた、「修正を証明する」ワークフローとして、変更後の実行を失敗ケースに対して再生し、改善、悪化、変化なし、判断不能のいずれかで判定する方法も説明しています。
Retraceでエージェントを計測するにはどうしますか？
ソースには、Pythonのデコレータ `@retrace.record` と、TypeScriptの `trace()` ラッパーが示されています。また、トレースの取り込み、取得、一覧表示、fork/replayワークフローの作成のためのREST APIエンドポイントも記載されています。
Retraceに無料プランはありますか？
料金ページには、無料プランに加えて、有料のStarter、Pro、Teams、Enterpriseプランが掲載されています。有料プランでは、より多いトレース上限、より長い保持期間、再生機能、修正証明の実行、評価ゲート、コラボレーション機能が追加されます。
Retraceは基本的な記録以外にどのようなワークフローをサポートしていますか？
Retraceは、本番障害が記録済みトレースになり、変更されたステップがfork・再生され、その結果を出荷前に比較できるワークフロー向けに設計されています。ソースでは、関連機能として、回帰テスト、CI評価ゲート、ガードレール、強制適用、障害分類、多エージェントセッションにも触れています。
どの統合がサポートされていますか？
提供されたソースには、対応する統合機能の完全な一覧はありません。ただし、PythonとTypeScriptの計測、主要なモデルプロバイダー呼び出し、REST APIへの対応は示されています。
Quick Facts
- カテゴリ
- 開発者向けツール
- 製品タイプ
- AIエージェント向け実行リプレイエンジン
- 主なワークフロー
- エージェント実行の記録、再生、fork、比較、修正証明
- 表示されている対応言語
- Python、TypeScript
- 料金
- 無料プランと、有料のStarter、Pro、Teams、Enterpriseティア
- ソースドメイン
- retraceai.tech
Retraceの代替品
ByteAsk
ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。
Manta AI
Manta AIは、URLからアプリの挙動を把握し、回帰を検出し、スクリプトやセレクタ管理なしでテストを生成できる自律型Webアプリテストツールです。
CreateOS Sandbox
CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。
hob
hobは、エージェントのセッション、ターミナル、履歴、後続作業を、既存のツールやプロバイダーに合わせて整理できる独立したコーディングエージェント向けワークスペース。ローカルでの制御を重視する開発者に最適。
SonOf
SonOfは、リポジトリとPMツールに接続し、コードベースと周辺の製品コンテキストを監査して、承認済みの作業をシニアエンジニアのレビュー付きで公開済みチケットに変えます。
Ghost
Ghostは、チャット、コード生成、コマンドラインでのタスク実行に対応したターミナル向けAIアシスタントです。無料モデルを同梱し、Linux、macOS、Windowsで使えます。オープンソースです。