Latitude Agent Score

Latitude Agent Scoreは、本番トレースでAIエージェントの成果、信頼性、コスト、速度、安全性を評価。スコアの根拠となるセッションを調査し、失敗を評価に変え、リリース後の修正を検証できます。

AIエージェントの本番環境スコアリング

Latitude Agent Scoreは、AIエージェントを評価するための本番データに基づくツールです。本番環境でトレースされたセッションを、成果、信頼性、コスト、速度、安全性の5つの側面にわたるスコアに変換し、エージェントがタスクを完了したか、運用上の失敗があったか、回避可能なリソースを使用したか、遅延を生じさせたか、確認済みの害を引き起こしたかをチームが把握できるようにします。

このスコアは、単独で使用するベンチマークではなく、調査の出発点として設計されています。チームは結果の根拠となるセッションを確認し、繰り返し発生する失敗パターンを特定して評価に変換し、修正をリリースした後の挙動を比較できます。LatitudeはOpenTelemetryまたは既存のトレースデータを通じてトレースを受け付け、トラフィック、カバレッジ、信頼度の要件を満たした場合にスコアを算出します。

主な機能

5つの側面によるAgent Score

成果、信頼性、コスト、速度、安全性を1つのビューにまとめ、単一の指標ではなくトレードオフを評価できるようにします。

根拠に基づくスコアリング

本番セッションを根拠として使用し、95%信頼区間を報告します。根拠が不十分な場合はスコアを表示しません。

セッション単位の調査

スコアの変化や失敗の背景にあるセッションを表示し、集計結果から基盤となる本番環境での挙動を調査できます。

問題から評価へのワークフロー

繰り返し発生する問題を特定し、失敗パターンを評価に変換して、その後の本番セッションでも同じ挙動を監視できるようにします。

トレースの取り込み

OpenTelemetryまたは既存のトレースデータを通じて本番トレースを受け付けます。Latitudeのテレメトリを介して、エージェントのメッセージ、コスト、ツール呼び出し、エラーを取得することもできます。

MCPを活用した修正対応

MCPを通じて根拠データをエディター中心のワークフローに接続し、コーディングエージェントが問題のコンテキストを受け取り、リリース後の変更検証を支援できるようにします。

実用的なユースケース

本番リリースを評価する
5つの側面を組み合わせて、リリースによって実際のタスク完了率が向上したか、新たな信頼性、コスト、速度、安全性の問題を生じさせていないかを確認します。
繰り返し発生する失敗をトリアージする
スコアの低下や繰り返し発生するシグナルから、影響を受けた本番セッションへ移り、個別のログを確認するのではなく、共通する失敗挙動を特定します。
回帰テストのカバレッジを構築する
本番環境で検証済みの失敗を評価に変換し、その後のセッションで追跡して、修正の効果が持続しているかを確認します。
根拠に基づくコーディングループを支援する
MCPを通じて、関連する問題のコンテキスト、サンプルトレース、ワークスペースへのリンクをコーディングエージェントに提供し、修正をデプロイした後のエージェントの挙動を検証します。

Pros and Cons

Pros

速度やタスク完了だけをエージェント品質の指標とせず、相互に補完する5つの側面を評価します。
実際の本番セッションを結果の根拠とし、スコアの背景にあるデータを確認できます。
95%信頼区間を含み、根拠が不十分な場合は結果を明示的に保留します。
問題の発見を評価、リリース検証、MCPベースのコーディングワークフローに接続します。

Cons

必要なトラフィック、カバレッジ、信頼度、最小セッション数の条件を満たすまで、スコアは利用できません。
ベンチマークは本番トレースと根拠データの品質に依存するため、適切なテレメトリがないチームはまずトレースを設定する必要があります。
提供された資料ではスコアリングのワークフローが詳しく説明されていますが、サポートされるすべてのトレースソースや連携が完全には明記されていません。

FAQ

Agent Scoreは何を測定しますか？

Agent Scoreは、本番セッションを成果、信頼性、コスト、速度、安全性の5つの側面で評価します。エージェントのパフォーマンスに影響している要因と、次に調査すべき根拠に基づく改善点を把握するための機能です。

Agent Scoreを使い始めるにはどうすればよいですか？

OpenTelemetryを通じて本番セッションを接続するか、既存のトレースを取り込みます。Latitudeが受信した根拠データを処理し、スコアの算出条件を満たしているか確認します。

スコアの算出にはどの程度の本番データが必要ですか？

スコアは、5つの側面すべてで必要なトラフィック、カバレッジ、信頼度の条件を満たした後にのみ表示されます。Latitudeによると、少なくとも1,000件の適格なセッションが必要で、根拠データは7日、14日、21日、28日のいずれかの条件を満たす週単位の期間全体をカバーしている必要があります。

Latitudeは不確実性をどのように伝えますか？

各スコアには95%信頼区間が含まれます。根拠データが不十分な場合、Latitudeはスコアをまだ表示しません。

無料プランはありますか？

Latitudeには無料のStarterプランと有料のProプランがあり、クレジット量、保持期間、デプロイ、ロール、サポートをカスタマイズできるEnterpriseのオプションもあります。料金と上限はプランによって異なります。

Quick Facts

カテゴリー: AIエージェントのオブザーバビリティと評価
主な入力: 本番セッションとトレース
スコアリングの側面: 成果、信頼性、コスト、速度、安全性
根拠データのしきい値: 少なくとも1,000件の適格なセッション。カバレッジと信頼度の条件が適用されます
スコアの対象期間: 7日、14日、21日、28日のいずれかで、条件を満たす最短の週単位期間
トレース標準: OpenTelemetryに対応