可编辑的代理 harness 组件
该框架将周围的代理系统视为可编辑组件,包括系统提示词、防护措施、记忆、工具指南、子代理、技能、脚本和插件。这些组件负责控制上下文构建、工具、委派和工具循环中的行为。
Harness² 是一个来自 google-research 代码仓库、采用 Apache-2.0 许可证的框架,用于开放世界任务中的递归代理 harness。它专注于改进固定模型周围的系统,包括提示词、工具、记忆、技能、编排和其他可编辑行为,而不是修改模型权重。
其任务级工作流使用 Propose-Probe-Compose:它会在当前任务上测试候选 harness 修改,并利用这些执行过程中的行为证据构建改进方案。另一个持久化层级会记录已采用的 harness 和有证据支持的经验,使后续任务能够借鉴之前的改进工作。
该框架将周围的代理系统视为可编辑组件,包括系统提示词、防护措施、记忆、工具指南、子代理、技能、脚本和插件。这些组件负责控制上下文构建、工具、委派和工具循环中的行为。
对于当前任务,Harness² 会提出 harness 修改方案,探测这些修改对同一任务的影响,并根据执行行为的差异组合出改进后的 harness。文档所述的工作流在此步骤中不要求真实标签反馈。
任务完成后,系统会将已采用的 harness 和有证据支持的经验保存在持久化改进 harness 中,用于指导后续改进。
并行递归会探索多个通用候选方案和领域特定候选方案,而顺序递归会在连续步骤中传递改进后的 harness 和累积的证据。`--k` 设置控制任务级递归预算。
该版本默认支持 OpenCode,也可以通过 `--substrate cx` 使用 Codex。其中包含适用于 JobBench、LAB 和 WorkBuddy-Bench 的工作流。
命令行工作流涵盖设置、环境检查、改进、评判和报告。结果会保留任务摘要、交付物、已采用的 harness、反思笔记和评估输出。
使用 JobBench 的基准测试设置、运行器、评判和报告命令,对专业工作任务运行受控的改进实验,以比较不同配置下 harness 的行为。
使用 LAB 集成运行法律工作基准测试任务;文档所述的设置流程包括该基准测试所需的 Pandoc 和 Poppler 依赖。
运行 WorkBuddy-Bench 中办公、网页或代码任务的子集。文档所述的工作流需要 Docker,并会在设置完成后通过后续命令继续使用所选子集。
使用并行递归广泛探索候选 harness 修改,或使用顺序递归逐步深入单一路径的改进。当实验需要在探索广度和累积改进之间进行选择时,这种方式很适用。
先从本地演示开始,在配置基于模型的基准测试运行之前,使用确定性编辑器和真实的 Python 执行来体验两种递归模式。
对于基准测试运行,项目指定使用 Linux 和 Python 3.12。其 Python 软件包也支持 Python 3.13。文档中的设置流程还要求 uv、Node.js 20 或更高版本以及 Google Cloud CLI;部分基准测试还会增加各自的依赖项。
代码仓库文档介绍了 JobBench、LAB 和 WorkBuddy-Bench。使用 `harness2-setup` 安装基准测试,然后在运行改进流程前使用 `harness2-check` 进行检查。
使用 `harness2` 运行改进流程,随后使用 `harness2-judge` 和 `harness2-report` 进行评估和报告。`--dry-run` 可在不调用模型的情况下预览任务选择。评估和报告所使用的基准测试、执行器、任务子集、递归预算、模式和种子,需要与改进运行保持一致。
结果会保存在 `runs/` 下,并按基准测试以及(如适用)子集进行组织。其中包括任务摘要、交付物、已采用的 harness、反思笔记和评估结果。重复执行相同命令即可恢复运行;如果更换模型或任务选择,则需要使用新的 `HARNESS2_RUNS_DIR`。
CreateOS Sandbox 是基于 Firecracker 微型虚拟机的隔离计算环境,用于运行代码和 agent 工作负载,支持私有网络、SDK、CLI 和 MCP 程序化控制。
GitBot 是基于本地浏览器的工作区,可借助 Claude Code、Codex 或 OpenCode 创建可复用的编程机器人,跨仓库文件夹运行代理,并保留持久线程与可配置权限。
AakarDev AI 帮助团队在一个仪表板中管理 AI provider 访问、项目级设置、日志和分析,支持 BYOK 工作流,并涵盖 OpenAI、Google Gemini、Anthropic、Groq、Mistral AI 和 Perplexity AI。
Trigger.dev chat agent 是面向开发者的持久化 AI 聊天后端,支持有状态对话在刷新、崩溃和长轮次中持续运行,并与 AI SDK `useChat` 流程无缝连接,运行于托管基础设施,单轮无超时。
ByteAsk 是面向 C 和 C++ 的终端优先 AI 编码 agent,可直接编辑仓库,并在展示 diff 前用真实编译器、调试器、sanitizers 和测试验证修改。提供免费版与付费方案。
Epherem 是一款面向 AI 编程工具构建的 Web 应用静态安全扫描器,检查源文件和依赖项中的常见安全错误,并提供分类结果与修复建议,无需运行应用。