sideOS icon

sideOS

sideOS 是內建於 MacBook 瀏海的 macOS AI 助理,能將語音指令轉為感知螢幕的電腦操作、聽寫、背景工作與會議摘要,適合以語音控制 App、協調工作流程的 Mac 使用者。

sideOS

控制 Mac 的 AI 助理

sideOS 是一款設計為置於 MacBook 瀏海中的 macOS AI 助理,能透過語音指令操作電腦。按住 Control 和 Option,說出想做的事後放開;它可以檢查螢幕、選擇操作、開啟 App、點按、輸入文字,並告知你結果。

這項產品結合前景電腦控制與背景工作、裝置端聽寫、會議轉錄、提醒事項、連線服務及可選的活動記錄。它適用於這類工作流程:使用者希望從自然語言指令直接進入操作或完成檔案,而不必手動協調每個應用程式。

核心功能

語音控制電腦操作

按住 Control 和 Option,說出指令後放開。sideOS 會讀取目前的螢幕、執行相關操作,並以語音回報結果。

感知螢幕的互動

輔助使用樹狀結構提供具名控制項,螢幕影像則作為備援。也可以用游標圈選螢幕上的區域,並將其隨指令一併提供。

Mac App 控制

sideOS 可以開啟 App、點按、輸入文字、使用組合鍵,以及執行 AppleScript。它能在 Mail、Notes、Calendar、瀏覽器及其他 Mac 應用程式之間運作。

背景工作執行

長時間工作會與聊天分開執行,並可使用 Shell 指令、檔案、網路搜尋、讀取頁面、轉譯 PDF 與 AppleScript。結果會儲存於 Documents › sideOS Tasks。

會議轉錄與摘要

App 可在提供一鍵錄音控制項後,錄製來自 Zoom、Meet 或 Teams 的會議,接著在裝置上轉錄、區分講者,並建立摘要、決策與行動項目。

連接工具與 MCP

Gmail、Calendar、Notion、Slack 與 GitHub 的連接器可以將工具加入內建工具箱。具寫入能力的工具必須啟用後才能使用,也可以將自訂 MCP 設定以 JSON 貼上。

實用使用情境

  • 檢視工作並撰寫後續訊息

    請 sideOS 檢查螢幕上的報告或試算表,解釋營收下降等變化,並替同事擬定訊息。指令可包含螢幕上圈選的區域,提供額外情境。

  • 研究與文件製作

    在你繼續工作的同時,交給它較長時間的研究或文件工作。它可以搜尋網路、讀取頁面與檔案、建立報告、轉譯 PDF,並將輸出放入 sideOS Tasks 資料夾。

  • 記錄會議成果

    當 Zoom、Meet 或 Teams 視窗出現時,使用提供的錄音控制項錄製會議。停止錄音後,sideOS 會產生逐字稿、區分講者、摘要決策,並將行動項目轉為提醒事項。

  • 免手持寫作與輸入

    在幾乎任何 App 的作用中欄位中直接說出文字,或在沒有聚焦可編輯欄位時使用剪貼簿。適合快速記筆記、撰寫電子郵件草稿,以及跨應用程式輸入資料。

  • 協調連線服務

    連線工作服務並要求多步驟結果,例如回覆訊息並將活動新增至行事曆。具寫入能力的工具在使用者啟用前會維持關閉。

Pros and Cons

Pros

  • 結合語音指令與螢幕情境,不要求使用者描述介面中的每個元素。
  • 同時支援即時操作與較長時間的背景工作,並將工作輸出集中至專用資料夾。
  • 聽寫與會議轉錄被描述為在 Mac 上執行,這些工作流程不使用雲端模型,也不會上傳音訊。
  • 提供內建 Mac 控制功能,也可選擇連線至 Gmail、Calendar、Notion、Slack 與 GitHub 等服務。
  • 包含針對破壞性操作的安全控制,且活動記錄預設為關閉。

Cons

  • 產品定位為 macOS,且現有資料未說明支援的 macOS 版本、安裝需求,或是否相容於非 Mac 電腦。
  • 部分操作與連線工具需要使用者核准或明確啟用,因此對於可能變更或刪除資料的操作,sideOS 並非完全免手動。
  • 現有價格資料確認為一次性購買,但未說明金額或詳細授權條款。

FAQ

如何使用 sideOS?

sideOS 被呈現為一款位於 MacBook 瀏海中的 macOS App。主要操作方式是按住 Control 和 Option,說出指令後放開;也提供點按式聽寫模式。

sideOS 可以執行哪些類型的工作?

它可以透過 macOS 輔助使用資訊讀取螢幕,在必要時以影像作為備援,開啟 App、點按、輸入文字、按下組合鍵,以及執行 AppleScript。對於較長時間的工作,它也能使用 Shell 指令、檔案、網路搜尋、讀取頁面、轉譯 PDF 與 AppleScript。

聽寫功能如何處理隱私與語言支援?

聽寫功能使用 macOS 的辨識引擎,並標示為在裝置上處理,不需網路請求,也不另收使用費。傳統引擎的聽寫支援 62 種語言;較新的引擎沒有標示時間限制。

工作與會議結果會存放在哪裡?

長時間執行的工作會放入 Documents › sideOS Tasks,完成或需要注意時會顯示通知。會議錄音會在 Mac 上轉錄,停止錄音後會產生摘要與行動項目。

sideOS 能與其他 App 和服務搭配使用嗎?

可以透過瀏覽器登入,新增 Gmail、Calendar、Notion、Slack 與 GitHub 等服務的連線。能傳送、刪除或變更資料的工具預設為停用;外部 MCP 設定可透過 JSON 新增,機密資訊則儲存在 Mac Keychain 中。

Quick Facts

類別
AI 助理與生產力工具
平台
macOS;針對 MacBook 瀏海工作流程設計
主要互動方式
按住 Control + Option,說話後放開
聽寫
裝置端 macOS 辨識;傳統引擎支援 62 種語言
自動化
前景 App 控制加上背景工作
購買模式
一次性購買;現有資料未說明價格與授權條款