語音控制電腦操作
按住 Control 和 Option,說出指令後放開。sideOS 會讀取目前的螢幕、執行相關操作,並以語音回報結果。
sideOS 是一款設計為置於 MacBook 瀏海中的 macOS AI 助理,能透過語音指令操作電腦。按住 Control 和 Option,說出想做的事後放開;它可以檢查螢幕、選擇操作、開啟 App、點按、輸入文字,並告知你結果。
這項產品結合前景電腦控制與背景工作、裝置端聽寫、會議轉錄、提醒事項、連線服務及可選的活動記錄。它適用於這類工作流程:使用者希望從自然語言指令直接進入操作或完成檔案,而不必手動協調每個應用程式。
按住 Control 和 Option,說出指令後放開。sideOS 會讀取目前的螢幕、執行相關操作,並以語音回報結果。
輔助使用樹狀結構提供具名控制項,螢幕影像則作為備援。也可以用游標圈選螢幕上的區域,並將其隨指令一併提供。
sideOS 可以開啟 App、點按、輸入文字、使用組合鍵,以及執行 AppleScript。它能在 Mail、Notes、Calendar、瀏覽器及其他 Mac 應用程式之間運作。
長時間工作會與聊天分開執行,並可使用 Shell 指令、檔案、網路搜尋、讀取頁面、轉譯 PDF 與 AppleScript。結果會儲存於 Documents › sideOS Tasks。
App 可在提供一鍵錄音控制項後,錄製來自 Zoom、Meet 或 Teams 的會議,接著在裝置上轉錄、區分講者,並建立摘要、決策與行動項目。
Gmail、Calendar、Notion、Slack 與 GitHub 的連接器可以將工具加入內建工具箱。具寫入能力的工具必須啟用後才能使用,也可以將自訂 MCP 設定以 JSON 貼上。
請 sideOS 檢查螢幕上的報告或試算表,解釋營收下降等變化,並替同事擬定訊息。指令可包含螢幕上圈選的區域,提供額外情境。
在你繼續工作的同時,交給它較長時間的研究或文件工作。它可以搜尋網路、讀取頁面與檔案、建立報告、轉譯 PDF,並將輸出放入 sideOS Tasks 資料夾。
當 Zoom、Meet 或 Teams 視窗出現時,使用提供的錄音控制項錄製會議。停止錄音後,sideOS 會產生逐字稿、區分講者、摘要決策,並將行動項目轉為提醒事項。
在幾乎任何 App 的作用中欄位中直接說出文字,或在沒有聚焦可編輯欄位時使用剪貼簿。適合快速記筆記、撰寫電子郵件草稿,以及跨應用程式輸入資料。
連線工作服務並要求多步驟結果,例如回覆訊息並將活動新增至行事曆。具寫入能力的工具在使用者啟用前會維持關閉。
sideOS 被呈現為一款位於 MacBook 瀏海中的 macOS App。主要操作方式是按住 Control 和 Option,說出指令後放開;也提供點按式聽寫模式。
它可以透過 macOS 輔助使用資訊讀取螢幕,在必要時以影像作為備援,開啟 App、點按、輸入文字、按下組合鍵,以及執行 AppleScript。對於較長時間的工作,它也能使用 Shell 指令、檔案、網路搜尋、讀取頁面、轉譯 PDF 與 AppleScript。
聽寫功能使用 macOS 的辨識引擎,並標示為在裝置上處理,不需網路請求,也不另收使用費。傳統引擎的聽寫支援 62 種語言;較新的引擎沒有標示時間限制。
長時間執行的工作會放入 Documents › sideOS Tasks,完成或需要注意時會顯示通知。會議錄音會在 Mac 上轉錄,停止錄音後會產生摘要與行動項目。
可以透過瀏覽器登入,新增 Gmail、Calendar、Notion、Slack 與 GitHub 等服務的連線。能傳送、刪除或變更資料的工具預設為停用;外部 MCP 設定可透過 JSON 新增,機密資訊則儲存在 Mac Keychain 中。