編集可能なエージェントハーネスのコンポーネント
フレームワークは、周辺のエージェントシステムを編集可能なコンポーネントとして扱います。対象には、システムプロンプト、ガードレール、メモリ、ツールのガイダンス、サブエージェント、スキル、スクリプト、プラグインが含まれます。これらのコンポーネントは、コンテキストの構築、ツール、委任、ツールループ内の動作を制御します。
Harness²
Harness²は、固定AIモデルのプロンプト、ツール、メモリなどを改善するオープンソースフレームワーク。JobBench、LAB、WorkBuddy-Benchで再帰的な改善ワークフローを実行できます。
再帰的なエージェントハーネスの改善
Harness²は、open-worldタスクにおける再帰的なエージェントハーネス化のための、google-researchリポジトリ発のApache-2.0ライセンスのフレームワークです。モデルの重みを変更するのではなく、プロンプト、ツール、メモリ、スキル、オーケストレーションなど、固定モデルの周辺にある編集可能な要素を改善することに重点を置いています。
タスクレベルのワークフローではPropose-Probe-Composeを使用します。現在のタスクで候補となるハーネスの編集をテストし、それらの実行から得た行動上の証拠を使って改善案を構成します。もう1つの永続的なレベルでは、採用されたハーネスと証拠に裏付けられた教訓を記録し、後続のタスクが以前の改善作業を活用できるようにします。
主な機能
タスクレベルのPropose-Probe-Compose改善
現在のタスクに対して、Harness²はハーネスの編集を提案し、同じタスクへの影響を検証し、実行時の動作の違いから改善されたハーネスを構成します。文書化されたこの手順では、グラウンドトゥルースによるフィードバックは必要ありません。
永続的なハーネスレベルの学習
タスクの完了後、システムは採用されたハーネスと、証拠に基づく教訓を永続的な改善ハーネスに保持し、後の改善を導くために使用します。
並列・逐次の再帰モード
並列再帰では、一般的な候補とドメイン固有の候補を複数探索します。一方、逐次再帰では、改善されたハーネスと蓄積された証拠を後続のステップへ引き継ぎます。`--k` 設定でタスクレベルの再帰予算を制御します。
エグゼキューターとベンチマークのサポート
リリースではデフォルトで OpenCode をサポートし、`--substrate cx` により Codex も使用できます。JobBench、LAB、WorkBuddy-Bench 用のワークフローが含まれています。
実行管理とレポート
コマンドラインワークフローでは、セットアップ、環境チェック、改善、判定、レポート作成を行えます。結果には、タスク概要、成果物、採用されたハーネス、振り返りメモ、評価出力が保持されます。
実用的なユースケース
専門的な業務タスクでエージェントを評価する
ベンチマークのセットアップ、ランナー、判定、レポートの各コマンドを使用して、JobBench の業務タスクに対する制御された改善実験を実行し、設定したハーネスの動作を比較します。
法務業務エージェントのワークフローをテストする
法務業務のベンチマークタスク向けに LAB 統合を使用します。文書化されたセットアップには、このベンチマークに必要な Pandoc と Poppler の依存関係が含まれています。
オフィス、ウェブ、コーディングエージェントを評価する
オフィス、ウェブ、コードのタスク向けに WorkBuddy-Bench のサブセットを実行します。文書化されたワークフローでは Docker が必要で、セットアップ後のコマンドに選択したサブセットが引き継がれます。
改善戦略を比較する
並列再帰で候補となるハーネスの変更を幅広く探索するか、逐次再帰で1つの改善経路を反復的に深掘りします。広さと累積的な改善のどちらを重視するかが重要な実験に適しています。
ローカルインストールを検証する
モデルを使用するベンチマーク実行を設定する前に、ローカルデモから始め、決定論的なエディターと実際のPython実行を使って両方の再帰モードを動作確認します。
Pros and Cons
Pros
- 8つの具体的なハーネスコンポーネントが公開されており、単一のプロンプトにとどまらず改善できます。
- 並列探索と逐次改善の両方をサポートし、再帰予算を明示的に制御できます。
- セットアップ、チェック、実行、判定、レポート作成、結果の再開に対応したコマンドラインワークフローが文書化されています。
- JobBench、LAB、WorkBuddy-Benchという、業務領域にまたがる3つのベンチマークをサポートしています。
- ローカルの決定論的なデモでは実際のPython実行を使用し、モデルの認証情報を必要としません。
Cons
- ベンチマーク実行は Linux と Python 3.12 を対象として文書化されており、ベンチマークによって追加の依存関係が異なります。LAB には Pandoc と Poppler が必要で、WorkBuddy-Bench には Docker が必要です。
- モデルを使用する実行にはモデル設定と認証情報が必要で、リポジトリには API コストが発生すると記載されています。
- エグゼキューターのネットワークアクセスはデフォルトで制限されておらず、Codex はサンドボックスを無効にして実行されます。ベンチマークの解答や評価基準にアクセスできないよう、評価前にネットワーク制限を設定するよう案内されています。
FAQ
Harness²の実行に必要な環境は何ですか？
ベンチマーク実行には、プロジェクトで Linux と Python 3.12 が指定されています。Python パッケージは Python 3.13 にも対応しています。文書化されているセットアップでは、uv、Node.js 20 以降、Google Cloud CLI も必要です。ベンチマークによっては追加の依存関係があります。
Harness²がサポートするベンチマークはどれですか？
リポジトリでは JobBench、LAB、WorkBuddy-Bench が文書化されています。ベンチマークは `harness2-setup` でインストールし、改善実行の前に `harness2-check` で確認します。
ベンチマークの実行はどのように評価・レポート作成されますか？
改善を実行するには `harness2` を使用し、その後 `harness2-judge` と `harness2-report` で評価とレポート作成を行います。`--dry-run` を使うと、モデルを呼び出さずにタスク選択をプレビューできます。評価とレポート作成には、改善実行時と同じベンチマーク、エグゼキューター、タスクサブセット、再帰予算、モード、シードが必要です。
実行を再開できますか？
結果は `runs/` 配下に保存され、ベンチマーク別、該当する場合はサブセット別に整理されます。タスク概要、成果物、採用されたハーネス、振り返りメモ、評価結果が含まれます。同じコマンドを繰り返すと実行を再開できます。モデルやタスク選択を変更する場合は、新しい `HARNESS2_RUNS_DIR` が必要です。
Quick Facts
- カテゴリー
- 開発者向けツール
- ライセンス
- Apache License 2.0
- 対応ベンチマーク
- JobBench、LAB、WorkBuddy-Bench
- 主な環境
- Linux；ベンチマーク実行には Python 3.12
- エグゼキューター
- OpenCode、およびオプションの Codex
- ソース
- github.com/google-research/harness2
Harness²の代替品
CreateOS Sandbox
CreateOS Sandboxは、FirecrackerマイクロVM上でコードやエージェントのワークロードを実行できる分離型コンピュート環境です。SDK、CLI、MCPで制御可能。
GitBot
GitBotは、Claude Code、Codex、OpenCodeを活用した再利用可能なコーディングボットを作成できるローカルブラウザワークスペースです。永続スレッドと権限設定で、リポジトリ内の作業を効率化します。
AakarDev AI
AakarDev AIは、AIプロバイダーのアクセス管理、プロジェクト別設定、ログ、分析を1つのダッシュボードで管理できるチーム向けツールです。BYOKに対応し、OpenAI、Google Gemini、Anthropic、Groq、Mistral AI、Perplexity AIをサポートします。
Trigger.dev chat agent
Trigger.dev chat agentは、リフレッシュやクラッシュ、長時間の会話も維持できる、開発者向けの耐久性あるAIチャットバックエンドです。AI SDKのuseChatに対応し、ターンにタイムアウトがありません。
ByteAsk
ByteAskは、C/C++向けのターミナル起点AIコーディングエージェント。リポジトリを編集し、コンパイラやデバッガ、サニタイザ、テストで変更を検証してから差分を表示。無料枠あり。
Epherem
Epheremは、Lovable、Bolt、v0、Replit、Cursor、Claude CodeなどのAIコーディングツールで構築したWebアプリ向け静的セキュリティスキャナーです。アプリを実行せず、ソースファイルと依存関係を検査し、一般的なセキュリティミスを分類して修正案を提示します。