Latitude Agent Score

Latitude Agent Score 基于生产环境追踪数据，从结果、可靠性、成本、速度和安全性评估 AI agent 表现，支持排查会话、将重复故障转为评测，并验证发布后的修复效果。

面向 AI agent 的生产环境评分

Latitude Agent Score 是一款基于生产环境证据评估 AI agent 的工具。它将经过追踪的生产环境会话转化为涵盖结果、可靠性、成本、速度和安全性的评分，帮助团队了解 agent 是否完成任务、是否出现运行故障、是否使用了可避免的资源、是否引入延迟或造成已确认的损害。

该评分旨在作为调查的起点，而不是独立的基准。团队可以检查评分结果背后的会话，识别重复出现的故障模式，将其转化为评测，并在修复发布后比较行为。Latitude 通过 OpenTelemetry 或已有的追踪数据接收追踪信息，并根据流量、覆盖率和置信度要求决定是否提供评分。

主要功能

五维 Agent Score

将结果、可靠性、成本、速度和安全性整合到一个视图中，帮助团队评估各种权衡，而不是只优化单一指标。

基于证据的评分

以生产环境会话作为证据，并报告 95% 置信区间；当证据不足时不提供评分。

会话级调查

展示评分变化和故障背后的会话，让团队能够从汇总结果深入了解底层生产环境行为。

从问题到评测的工作流

帮助团队识别重复出现的问题，将故障模式转化为评测，并在后续生产环境会话中监测相同行为。

追踪数据接入

通过 OpenTelemetry 或已有的追踪数据接收生产环境追踪信息，并可通过 Latitude telemetry 采集 agent 消息、成本、工具调用和错误。

MCP 辅助修复

通过 MCP 将证据连接到基于编辑器的工作流，使编码 agent 能够获取问题上下文，并帮助验证发布后的变更。

实际使用场景

评估生产环境发布
结合五个维度，了解某次发布是否提升了真实任务完成情况，同时没有引入新的可靠性、成本、速度或安全性问题。
排查重复故障
从评分下降或重复出现的信号追溯到受影响的生产环境会话，然后识别共同的故障行为，而不是逐一查看孤立日志。
构建回归覆盖
将经过验证的生产环境故障转化为评测，并在后续会话中持续跟踪，以检查修复是否仍然有效。
支持基于证据的编码闭环
通过 MCP 向编码 agent 提供相关问题上下文、示例追踪数据和工作区链接，然后在修复部署后验证 agent 的行为。

Pros and Cons

Pros

评估五个互补维度，而不是将速度或任务完成情况视为衡量 agent 质量的唯一标准。
以真实生产环境会话为依据，并展示评分背后的证据。
包含 95% 置信区间，并在证据不足时明确不提供结果。
将问题发现连接到评测、发布验证和基于 MCP 的编码工作流。

Cons

在满足规定的流量、覆盖率、置信度和最低会话数门槛之前，无法获得评分。
该基准依赖生产环境追踪数据和证据质量；没有合适 telemetry 的团队需要先设置追踪。
提供的材料详细说明了评分工作流，但未完整说明所有支持的追踪数据来源或集成。

FAQ

Agent Score 衡量什么？

Agent Score 从五个维度评估生产环境会话：结果、可靠性、成本、速度和安全性。它旨在展示哪些因素正在影响 agent 的表现，以及下一步应调查哪项有证据支持的改进方向。

如何开始使用 Agent Score？

通过 OpenTelemetry 连接生产环境会话，或导入已有的追踪数据。Latitude 会处理传入的证据，并检查是否满足获得评分的资格要求。

获得评分需要多少生产环境证据？

只有当五个维度都通过规定的流量、覆盖率和置信度门槛后，才会显示评分。Latitude 表示至少需要 1,000 个符合条件的会话，并且证据必须覆盖符合要求的完整周时间窗口：7 天、14 天、21 天或 28 天。

Latitude 如何传达不确定性？

每项评分都包含 95% 置信区间。如果证据不足，Latitude 暂时不会显示评分。

是否有免费计划？

Latitude 提供免费的 Starter 计划和付费的 Pro 计划，并为自定义额度、数据保留、部署、角色和支持提供 Enterprise 选项。不同计划的价格和限制有所不同。

Quick Facts

类别: AI agent 可观测性与评测
主要输入: 生产环境会话和追踪数据
评分维度: 结果、可靠性、成本、速度和安全性
证据门槛: 至少 1,000 个符合条件的会话，且需满足覆盖率和置信度门槛
评分窗口: 符合条件的最短完整周窗口：7 天、14 天、21 天或 28 天
追踪标准: 支持 OpenTelemetry