UI Atlas icon

UI Atlas

UI Atlas 是一款离线优先的 Windows 工具包,可手动记录指定桌面应用及其所属弹窗,构建可检查的 UI 知识图谱,并导出界面地图,无需上传录制内容或注册账号。

UI Atlas

面向 Windows 应用界面的离线优先映射

UI Atlas 是一款离线优先的 Windows 工具包,可手动记录指定桌面应用及其所属弹窗。它会保留原始捕获证据,然后以确定性方式构建 Raw World 和 Semantic World UI 知识图谱层,这些层可供检查、比较、验证和导出。

该项目旨在通过记录屏幕、控件、交互及由此产生的状态,让开发者更容易分析不熟悉的 Windows 界面,同时不会代替用户执行操作。其 v1 工作流有意限定在明确范围内:用户选择目标,记录有人值守的点击和观察结果,构建地图,审查质量和图谱层,并通过独立库或命令行工具使用生成的数据。

功能

限定范围的桌面捕获

在有人值守的会话中捕获一个指定的桌面应用,包括可见的同进程顶层窗口,以及其根所有者链指向指定应用的所属菜单、对话框和工具弹窗。

不可变的录制捆绑包

将有序输入事件、交互尝试、结果、诊断信息、捕获健康状况、观察结果,以及可选的指定应用或所属弹窗帧保留为原始证据。

双层 UI 知识图谱

根据录制内容构建 Raw World 和 Semantic World UI 知识图谱层,并保留窗口、变体、控件与前置世界之间的谱系链接。

多通道观察

在目标允许的情况下,使用相互独立的像素、UI Automation、视觉几何、OCR 和受限原生验证通道;截图失败可能会降低捕获质量,但不会丢弃其他证据。

检查与质量审查

验证录制内容和地图,生成质量报告,检查世界流和图谱层,并在只读 WPF 浏览器中查看地图。

结构化导出

将包含身份信息的地图数据导出为人类可读的 JSON,或使用文档所述的 ui-atlas_flat 和 SQLite 地图格式供后续使用。

使用场景

  • 逆向分析不熟悉的桌面 UI

    开发者可以记录不熟悉的 Windows 应用的基线观察和点击后观察结果,然后在结构化地图中检查生成的窗口、控件、路径和状态转换。

  • 创建可复现的 UI 证据

    研究人员或 QA 工程师可以保留屏幕截图、Win32 元数据、受限的 UI Automation 观察结果、输入时序和交互结果,形成可供审查的可重放证据捆绑包。

  • 向其他系统提供结构化界面数据

    构建 AI 界面理解系统的团队可以使用无损 JSON 地图导出,其中包括交互会话、合并路径、可操作性、负面示例和谱系数据。

  • 审查并评定捕获的地图

    维护人员可以运行地图验证和质量检查,检查 Raw World 和 Semantic World 层,并使用只读浏览器识别重复屏幕、不完整扫描或未确认结果的点击。

Pros and Cons

Pros

  • 将录制内容保留在本地,不需要账号,也不需要上传录制内容。
  • 保留不可变的原始证据,并在保留策略允许的情况下支持可恢复的部分完成或已取消捆绑包。
  • 结合截图与结构化 Windows/UI Automation 证据,并提供验证、质量审查、检查和多种导出选项。
  • 提供独立的 Raw World 和 Semantic World 层,并可追溯回所观察到的证据。

Cons

  • 支持的 v1 范围仅限于 Windows 10 版本 2004 或更高版本以及 Windows 11;发布安装还需要 .NET 运行时。
  • 捕获过程需要有人值守并手动操作;该项目不提供应用操作执行、编写、远程控制或后台监控。
  • 文档所述工作流面向一个指定的桌面应用及其所属弹窗,而不是通用的多应用监控环境。

FAQ

UI Atlas 支持哪些平台和前置条件?

UI Atlas 支持 Windows 10 版本 2004 或更高版本以及 Windows 11。发布 ZIP 需要 .NET 10 Windows Desktop Runtime;从源代码构建需要 .NET SDK 10.0.200。

如何安装 UI Atlas?

解压发布 ZIP,然后从解压后的 ui-atlas-core 文件夹运行 install.ps1。安装按用户进行,不需要管理员权限,并会创建 UiAtlas Recorder 开始菜单快捷方式。也可以使用 ui-atlas.cmd 以便携方式运行解压后的文件夹。

记录会话会捕获哪些内容?

记录器会在有人值守的手动会话期间,捕获一个指定的桌面应用及其所属弹窗。它会进行基线观察,记录每次有人值守的点击及其结果观察,并支持明确完成或取消。

UI Atlas 会生成哪些输出?

录制内容使用不可变的 .mlrec ZIP 捆绑包。生成的地图可以存储为 SQLite 并导出为人类可读的 JSON,其他地图导出格式还包括 ui-atlas_flat 和 SQLite。

UI Atlas 会控制应用或在后台监控应用吗?

不会。文档所述的 v1 范围不包括应用操作、编写、执行、远程控制或后台监控。它专为有人值守的手动捕获和检查而设计。

Quick Facts

类别
开发者工具
平台
Windows 10 版本 2004 或更高版本以及 Windows 11
主要工作流
对一个指定桌面应用进行有人值守的手动录制
存储
本地不可变 .mlrec 录制内容、SQLite 地图、JSON 导出,以及可恢复的目录回收站
界面
命令行工具和只读 WPF 浏览器
定价
所提供的来源中未记录 UiAtlas 特定的定价或许可条款