限定范围的桌面捕获
在有人值守的会话中捕获一个指定的桌面应用,包括可见的同进程顶层窗口,以及其根所有者链指向指定应用的所属菜单、对话框和工具弹窗。
UI Atlas 是一款离线优先的 Windows 工具包,可手动记录指定桌面应用及其所属弹窗。它会保留原始捕获证据,然后以确定性方式构建 Raw World 和 Semantic World UI 知识图谱层,这些层可供检查、比较、验证和导出。
该项目旨在通过记录屏幕、控件、交互及由此产生的状态,让开发者更容易分析不熟悉的 Windows 界面,同时不会代替用户执行操作。其 v1 工作流有意限定在明确范围内:用户选择目标,记录有人值守的点击和观察结果,构建地图,审查质量和图谱层,并通过独立库或命令行工具使用生成的数据。
在有人值守的会话中捕获一个指定的桌面应用,包括可见的同进程顶层窗口,以及其根所有者链指向指定应用的所属菜单、对话框和工具弹窗。
将有序输入事件、交互尝试、结果、诊断信息、捕获健康状况、观察结果,以及可选的指定应用或所属弹窗帧保留为原始证据。
根据录制内容构建 Raw World 和 Semantic World UI 知识图谱层,并保留窗口、变体、控件与前置世界之间的谱系链接。
在目标允许的情况下,使用相互独立的像素、UI Automation、视觉几何、OCR 和受限原生验证通道;截图失败可能会降低捕获质量,但不会丢弃其他证据。
验证录制内容和地图,生成质量报告,检查世界流和图谱层,并在只读 WPF 浏览器中查看地图。
将包含身份信息的地图数据导出为人类可读的 JSON,或使用文档所述的 ui-atlas_flat 和 SQLite 地图格式供后续使用。
开发者可以记录不熟悉的 Windows 应用的基线观察和点击后观察结果,然后在结构化地图中检查生成的窗口、控件、路径和状态转换。
研究人员或 QA 工程师可以保留屏幕截图、Win32 元数据、受限的 UI Automation 观察结果、输入时序和交互结果,形成可供审查的可重放证据捆绑包。
构建 AI 界面理解系统的团队可以使用无损 JSON 地图导出,其中包括交互会话、合并路径、可操作性、负面示例和谱系数据。
维护人员可以运行地图验证和质量检查,检查 Raw World 和 Semantic World 层,并使用只读浏览器识别重复屏幕、不完整扫描或未确认结果的点击。
UI Atlas 支持 Windows 10 版本 2004 或更高版本以及 Windows 11。发布 ZIP 需要 .NET 10 Windows Desktop Runtime;从源代码构建需要 .NET SDK 10.0.200。
解压发布 ZIP,然后从解压后的 ui-atlas-core 文件夹运行 install.ps1。安装按用户进行,不需要管理员权限,并会创建 UiAtlas Recorder 开始菜单快捷方式。也可以使用 ui-atlas.cmd 以便携方式运行解压后的文件夹。
记录器会在有人值守的手动会话期间,捕获一个指定的桌面应用及其所属弹窗。它会进行基线观察,记录每次有人值守的点击及其结果观察,并支持明确完成或取消。
录制内容使用不可变的 .mlrec ZIP 捆绑包。生成的地图可以存储为 SQLite 并导出为人类可读的 JSON,其他地图导出格式还包括 ui-atlas_flat 和 SQLite。
不会。文档所述的 v1 范围不包括应用操作、编写、执行、远程控制或后台监控。它专为有人值守的手动捕获和检查而设计。
ByteAsk 是面向 C 和 C++ 的终端优先 AI 编码 agent,可直接编辑仓库,并在展示 diff 前用真实编译器、调试器、sanitizers 和测试验证修改。提供免费版与付费方案。
Manta AI 是面向团队的自治式网页应用测试工具,可从 URL 自动探索应用、映射行为、捕捉回归,并用自然语言生成测试,无需脚本或维护选择器。
CreateOS Sandbox 是基于 Firecracker 微型虚拟机的隔离计算环境,用于运行代码和 agent 工作负载,支持私有网络、SDK、CLI 和 MCP 程序化控制。
hob 是面向编码 agent 的独立工作区,可将 agent 会话、终端、历史记录和后续工作围绕你已在用的工具与提供商有序管理,适合重视本地路由、历史和工作区结构控制的开发者。
Ably Chat 是用于构建自定义实时聊天应用的 chat API 平台,支持房间消息、输入指示、在线状态、表情回应与消息更新,并提供按使用量计费选项。
garden-md 是一款开源 Node.js CLI,可将会议记录转为本地公司 wiki;关联跨记录实体,保留原文不改写,并以可浏览的 wiki 形式展示。