语音控制电脑操作
按住 Control 和 Option,说出请求后松开。sideOS 会读取当前屏幕,执行相关操作,并朗读结果。
sideOS 是一款 macOS AI 助手,专为驻留在 MacBook 刘海屏中而设计,可通过语音指令操作电脑。按住 Control 和 Option,说出你的需求后松开;它可以检查屏幕、选择操作、打开应用、点击、输入文字,并告诉你执行结果。
该产品将前台电脑控制与后台任务、设备端听写、会议转录、提醒事项、已连接服务和可选的活动历史记录结合起来。它适用于这样的工作流程:用户希望从自然语言请求直接完成某项操作或得到一个完成的文件,而无需手动协调每个应用。
按住 Control 和 Option,说出请求后松开。sideOS 会读取当前屏幕,执行相关操作,并朗读结果。
辅助功能树提供带名称的控件,屏幕图像则作为备用方式。还可以用指针圈选屏幕区域,并将其与请求一同提交。
sideOS 可以打开应用、点击、输入文字、使用组合键并运行 AppleScript。它可以在 Mail、Notes、Calendar、浏览器和其他 Mac 应用之间工作。
长时间运行的任务会独立于聊天执行,并可使用 Shell 命令、文件、网页搜索、页面读取、渲染后的 PDF 和 AppleScript。结果会保存到 Documents › sideOS Tasks。
应用可以在提供单点按录音控件后,录制来自 Zoom、Meet 或 Teams 的会议,然后在设备上转录、区分说话人,并生成摘要、决策和行动项目。
Gmail、Calendar、Notion、Slack 和 GitHub 的连接器可以将工具添加到内置工具箱中。支持写入的工具在启用前处于禁用状态,也可以将自定义 MCP 配置作为 JSON 粘贴。
让 sideOS 检查屏幕上的报告或电子表格,解释收入下降等变化,并起草给同事的消息。请求中还可以包含屏幕上圈选的区域,以提供上下文。
在继续工作的同时,交给它较长的研究或文档任务。它可以搜索网页、读取页面和文件、创建报告、渲染 PDF,并将输出放入 sideOS Tasks 文件夹。
当 Zoom、Meet 或 Teams 窗口出现时,使用提供的录音控件录制会议。停止录音后,sideOS 会生成转录文本、区分说话人、总结决策,并将行动项目转换为提醒事项。
在几乎任何应用的活动字段中直接口述文字,或者在没有聚焦可编辑字段时使用剪贴板。这适合快速记笔记、起草电子邮件以及跨应用录入数据。
连接工作服务,并请求完成多步骤结果,例如回复消息并将事件添加到日历。支持写入的工具在用户启用前保持关闭。
sideOS 被描述为一款驻留在 MacBook 刘海屏中的 macOS 应用。主要交互方式是按住 Control 和 Option,说出请求后松开;同时也提供基于点按的听写模式。
它可以通过 macOS 辅助功能信息读取屏幕,也可使用图像作为备用方式,打开应用、点击、输入文字、按下组合键并运行 AppleScript。对于较长的任务,它还可以使用 Shell 命令、文件、网页搜索、页面读取、渲染后的 PDF 和 AppleScript。
听写使用 macOS 识别引擎,并被描述为在设备上运行,无需互联网请求,也不产生单独的使用费用。经典引擎支持 62 种语言;新引擎没有注明时间限制。
长时间运行的任务会放入 Documents › sideOS Tasks,完成或需要处理时会发出通知。会议录音会在 Mac 上转录,停止录音后生成摘要和行动项目。
可以通过浏览器登录,为 Gmail、Calendar、Notion、Slack 和 GitHub 等服务添加连接。能够发送、删除或更改数据的工具默认处于禁用状态;也可以将外部 MCP 配置作为 JSON 添加,密钥则存储在 Mac 钥匙串中。