Latitude Agent Score

Latitude Agent Score 以正式環境追蹤資料評估 AI 代理效能，涵蓋成果、可靠性、成本、速度與安全性；深入檢視工作階段、將反覆失敗轉為評估，並驗證上線後修正成效。

AI 代理的正式環境評分

Latitude Agent Score 是一項以正式環境證據評估 AI 代理的工具。它會將正式環境中經過追蹤的工作階段轉換為涵蓋成果、可靠性、成本、速度與安全性的分數，協助團隊了解代理是否完成任務、在操作上失敗、使用了可避免的資源、造成延遲，或導致已確認的傷害。

這項分數的設計是作為調查起點，而非獨立的基準測試。團隊可以檢視結果背後的工作階段，找出反覆出現的失敗模式，將其轉換為評估，並在修正上線後比較行為。Latitude 可透過 OpenTelemetry 或現有的追蹤資料接收追蹤資訊，而評分是否啟用則取決於流量、涵蓋範圍與信賴度要求。

主要功能

五面向 Agent Score

將成果、可靠性、成本、速度與安全性整合在單一檢視中，讓團隊能評估各項取捨，而不是只最佳化單一指標。

以證據為基礎的評分

以正式環境工作階段作為證據，回報 95% 信賴區間；證據不足時則不提供分數。

工作階段層級調查

顯示分數變化與失敗背後的工作階段，讓團隊能從彙總結果深入了解底層的正式環境行為。

從問題到評估的工作流程

協助團隊找出反覆出現的問題，將失敗模式轉為評估，並在後續正式環境工作階段中監控相同的行為。

追蹤資料擷取

透過 OpenTelemetry 或現有的追蹤資料接收正式環境追蹤資料，並可透過 Latitude 遙測資料擷取代理訊息、成本、工具呼叫與錯誤。

MCP 輔助修正

透過 MCP 將證據連結至以編輯器為基礎的工作流程，讓程式碼代理接收問題脈絡，並協助在上線後驗證變更。

實際使用情境

評估正式環境版本發布
結合五個面向，了解版本發布是否改善了實際任務完成度，同時未引發新的可靠性、成本、速度或安全性問題。
分類處理反覆失敗
從分數下滑或反覆出現的訊號，追查至受影響的正式環境工作階段，接著找出共同的失敗行為，而不是只檢視個別記錄。
建立迴歸測試涵蓋範圍
將已驗證的正式環境失敗轉為評估，並在後續工作階段中持續追蹤，以確認修正是否仍然有效。
支援以證據為導向的程式碼迴圈
透過 MCP 將相關問題脈絡、範例追蹤資料與工作區連結提供給程式碼代理，接著在修正部署後驗證代理的行為。

Pros and Cons

Pros

評估五個互補面向，而不是將速度或任務完成度視為代理品質的唯一衡量標準。
以真實正式環境工作階段為結果依據，並揭示分數背後的證據。
包含 95% 信賴區間，並在證據不足時明確不提供結果。
將問題發現連結至評估、上線驗證與以 MCP 為基礎的程式碼工作流程。

Cons

必須達到所需的流量、涵蓋範圍、信賴度與最低工作階段數門檻後，才能取得分數。
此基準取決於正式環境追蹤資料與證據品質；沒有合適遙測資料的團隊需要先設定追蹤。
提供的資料詳細說明了評分工作流程，但未完整列出所有支援的追蹤資料來源或整合。

FAQ

Agent Score 衡量什麼？

Agent Score 會從五個面向評估正式環境工作階段：成果、可靠性、成本、速度與安全性。其目的在於顯示哪些因素正在影響代理的效能，以及下一步應調查哪項有證據支持的改善方向。

如何開始使用 Agent Score？

透過 OpenTelemetry 連接正式環境工作階段，或匯入現有的追蹤資料。Latitude 會處理傳入的證據，並檢查是否符合取得分數的資格要求。

需要多少正式環境證據才能取得分數？

只有在五個面向都通過所需的流量、涵蓋範圍與信賴度門檻後，才會顯示分數。Latitude 表示至少需要 1,000 個符合資格的工作階段，且證據必須涵蓋符合條件的完整週期視窗：7、14、21 或 28 天。

Latitude 如何傳達不確定性？

每個分數都包含 95% 信賴區間。如果證據不足，Latitude 目前不會顯示分數。

有免費方案嗎？

Latitude 提供免費的 Starter 方案與付費的 Pro 方案，Enterprise 則提供自訂額度、保留期限、部署、角色與支援選項。價格與限制依方案而異。

Quick Facts

類別: AI 代理可觀測性與評估
主要輸入: 正式環境工作階段與追蹤資料
評分面向: 成果、可靠性、成本、速度與安全性
證據門檻: 至少 1,000 個符合資格的工作階段，並須通過涵蓋範圍與信賴度門檻
評分視窗: 符合條件的最短完整週期視窗：7、14、21 或 28 天
追蹤標準: 支援 OpenTelemetry