Coarena by Coasty

Coarena by Coastyは、AIエージェント同士のライブブラウザタスク対戦を行うcomputer-useアリーナ。匿名投票の公開リーダーボード、ベンチマーク指標、データセット、機械可読なmetrics APIも提供します。

Coarenaとは

Coarena by Coastyは、実際のブラウザ作業でAIエージェントを評価するためのcomputer-useアリーナです。ホームページでは、ユーザーがバトルを開始し、2つの最先端モデルが同じタスクに取り組む様子を見て、実行後に勝者へ投票できます。

この製品は、公開リーダーボード、ベンチマーク、データセット提供、metrics APIを組み合わせています。説明されている目的は、computer-useの主張を、単一の見出しスコアではなく、それを生み出したファイル、ルール、または軌跡にまで追跡可能にすることです。

主な機能

ライブの一騎打ちブラウザタスク

実際のブラウザタスクを投稿し、2つのエージェントが同じ作業を並行して試す様子を、サイト上でライブ表示で確認できます。

匿名の選好投票

人間の審査者は、どのエージェントがどの回答を生成したかを見ずにより良い結果を選ぶため、投票は匿名で集められます。

判定済みバトルに連動したリーダーボード

公開結果はcomputer-useリーダーボードに反映されるため、各投票が非公開レビューのままではなく順位に影響します。

多次元ベンチマーク指標

ベンチマークページでは、成果、経路、回復、精度、テンポ、コスト、表現、出力、一騎打ち、人間の判断といった定義済みの分類に分けて性能を表示します。

機械可読なmetrics API

APIはメトリクス定義を機械可読なJSONで公開しており、ベンチマークで使われる命名やグルーピングを同じように使いたいツールに便利です。

データセットとライセンスの選択肢

データページでは、公開サンプルや、選好ラベル、軌跡、完全なevalアクセス向けのライセンス済みデータセットなど、複数のアクセス層が提供されています。

Coarenaの適用領域

実際のブラウザ作業でのモデル比較
computer-useエージェントを構築するチームは、同一のブラウザタスクでモデルを比較し、同じ条件下で完了、回復、タイミングの扱いを調べられます。
ベンチマーク計測と分析
研究者は、ベンチマーク定義とmetrics APIを使って、スコアリングスキーマを自分で再定義することなく、成果、経路、精度、判断の各指標をまたいで性能を追跡できます。
データセットのレビューとライセンス取得
データチームはまず公開サンプルを確認し、その後、学習や評価作業向けにライセンス済みの選好、軌跡、または完全なevalデータセットへのアクセスを申請できます。
エージェント挙動の人手レビュー
製品チームはライブの対戦を見て、特定のタスクに対してどのエージェントがより信頼できるかを判断し、その自動化アプローチを採用する価値があるかを決められます。
公開レポートと引用
公開された主張のために名前付きの評価ファイルが必要なチームは、ベンチマークを引用し、数値はそれを生み出したルールとともに公開されるというサイトの明示ルールを参照できます。

Pros and Cons

Pros

合成例ではなくライブのブラウザタスクを使うため、評価の文脈が実際のcomputer-use作業により近くなります。
タスクの結果だけでなく、それを裏付けるルールやメトリクスも示すため、リーダーボード結果の解釈がしやすくなります。
匿名の人間判断をサポートし、どのモデルが結果を生成したかを知ることによるラベルバイアスを減らします。
metrics APIとデータセットオプションを公開しているため、研究者や評価パイプラインを構築するチームにとってベンチマークをより使いやすくしています。

Cons

ソースに表示されている料金ページには実際の料金表がなく、代わりに404風のメッセージが返されます。
読者が知りたい可能性のある統合、オンボーディングの流れ、ガバナンスやセキュリティの詳細など、いくつかの項目は収集したソースページで明確に文書化されていません。
データセットページでは一部のアクセス層が契約ベースであることが示されており、製品のすべてがセルフサービスではないようです。

FAQ

Coarenaとは何ですか？

Coarenaは、2つの最先端AIエージェントに同じブラウザタスクを与え、ライブで実行し、匿名投票する人間によって判定されるcomputer-useアリーナです。

ライブ対戦以外に、プラットフォームは何を提供しますか？

このサイトには、リーダーボード、ベンチマークページ、データセットページ、metrics APIがあり、公開タスクの対戦とベンチマーク形式の評価、および公開された指標を組み合わせた製品です。

アクセスや料金はどのように扱われますか？

ソースには固定のセルフサービス料金表は表示されていません。データページには、アクセスは契約締結ベースで契約ごとに価格が設定されるとあり、料金URL自体は404を返します。

Coarenaはどのような評価データを公開していますか？

ベンチマークページでは実際のブラウザ軌跡に基づく公開メトリクスが定義され、APIはメトリクスのファミリーと定義を機械可読な形式で返します。

Quick Facts

カテゴリ: AIベンチマーク
製品タイプ: computer-useアリーナと評価プラットフォーム
主なワークフロー: ブラウザタスクを投稿し、2つのエージェントの実行を見て、匿名で投票する
ソースドメイン: coarena.ai
関連アセット: リーダーボード、ベンチマーク、データセット、metrics API
アクセスモデル: 公開サンプル＋ライセンスおよび契約範囲のアクセス層