Coarena by Coasty icon

Coarena by Coasty

Coarena by Coasty 是一个用于 AI 代理实时浏览器任务对战的 computer-use 竞技场,支持盲测人工投票、公开排行榜,以及基准指标、数据集访问和机器可读 metrics API。

Coarena by Coasty

什么是 Coarena

Coarena by Coasty 是一个用于评估 AI 代理在真实浏览器工作中的 computer-use 竞技场。在首页,用户可以发起一场对战,观看两个前沿模型尝试完成同一任务,并在运行结束后投票选出获胜者。

该产品将公开排行榜与基准、数据集供给和 metrics API 结合在一起。其明确目标是让 computer-use 相关声明能够追溯到生成这些结论的文件、规则或轨迹,而不是只依赖一个headline 分数。

核心能力

实时正面对决浏览器任务

发布真实浏览器任务,并观看两个代理并行尝试完成同一工作,整个对战会在网站上实时展示。

盲测偏好投票

人工评审在不知道哪个答案由哪个代理生成的情况下选择更好的结果,因此投票为盲测。

与已评审对战挂钩的排行榜

已发布结果会进入 computer-use 排行榜,使每次投票都能影响排名,而不是仅作为私下评审记录。

多维度基准指标

基准页面将性能拆分为明确的指标族,例如 outcome、route、recovery、precision、tempo、cost、expression、output、head to head 和 human judgment。

机器可读的 metrics API

API 以机器可读的 JSON 形式公开指标定义,这对需要与基准使用相同命名和分组方式的工具很有用。

数据集与授权选项

数据页面提供多个访问层级,包括公开样本,以及用于偏好标签、轨迹和完整评测访问的授权数据集。

Coarena 的适用场景

  • 真实浏览器工作上的模型比较

    构建 computer-use 代理的团队可以在相同的浏览器任务上比较不同模型,并研究它们在相同条件下如何处理完成、恢复和时序。

  • 基准测试与分析

    研究人员可以使用基准定义和 metrics API 跟踪 outcome、route、precision 和 judgment 等维度的表现,而无需自行重新定义评分方案。

  • 数据集审查与授权

    数据团队可以先查看公开样本,然后申请访问授权的偏好、轨迹或完整评测数据集,用于训练或评估工作。

  • 代理行为的人审

    产品团队可以观看实时对战,并判断某个代理在特定任务上是否更可靠,再决定自动化方案是否值得采用。

  • 公开报告与引用

    需要在已发布声明中引用命名评估文件的团队,可以引用该基准以及网站“每个数值都与生成它的规则一并发布”的说明。

Pros and Cons

Pros

  • 使用真实浏览器任务而不是合成示例,使评估场景更接近真实的 computer-use 工作。
  • 同时展示任务结果以及背后的规则或指标,使排行榜结果更容易解读。
  • 支持盲测人工判断,减少因知道某个结果由哪个模型生成而带来的标签偏差。
  • 提供 metrics API 和数据集选项,使研究人员和构建评估流水线的团队更容易使用该基准。

Cons

  • 来源中显示的定价页面没有提供实际的价格表,而是返回类似 404 的消息。
  • 一些读者可能关心的细节,例如集成、上手流程,以及治理或安全相关说明,在收集到的来源页面中并未清晰记录。
  • 数据集页面表明部分访问层级需要合同签署,因此该产品并非所有部分都明显支持自助开通。

FAQ

什么是 Coarena?

Coarena 是一个 computer-use 竞技场,两个前沿 AI 代理会被分配相同的浏览器任务,实时运行,并由不知道身份的人工评审投票决定胜者。

平台除了实时对战之外还提供什么?

该网站提供排行榜、基准页面、数据集页面和 metrics API,因此这个产品将公开任务对战与基准式评估和已发布指标结合在一起。

访问或定价是如何处理的?

来源中没有显示固定的自助式定价表。数据页面说明访问需签约并按合同计价,而定价 URL 本身返回 404。

Coarena 发布哪类评估数据?

基准页面定义了来自真实浏览器轨迹的已发布指标,而 API 以机器可读形式返回指标族及其定义。

Quick Facts

类别
AI 基准
产品类型
computer-use 竞技场和评估平台
主要工作流
发布浏览器任务、观看两个代理运行,并进行盲测投票
源域名
coarena.ai
相关资产
排行榜、基准、数据集、metrics API
访问模式
公开样本加授权与合同范围访问层级