空間的な画面認識
アクティブなデスクトップをリアルタイムで視覚的に読み取り、コンテキストを切り替えずにスクリーン上のピクセルからコード、UIレイアウト、文書を解釈します。
Project SKYは、Windows 11向けのデスクトップ常駐AIコンパニオン。画面認識、音声対話、記憶、OS操作で、アプリをまたぐ作業を自然に支援します。
Project SKYは、ブラウザではなくデスクトップ上で常駐するように作られた、Windows 11向けのネイティブAIコンパニオンです。このサイトでは、画面上の内容を把握し、音声で応答し、進行中の作業を記憶し、最小限の中断でOSに働きかけることができる常駐アシスタントとして紹介されています。
ホームページでは、SKYの主な役割を3つにまとめています。表示中のデスクトップ文脈を理解すること、ユーザーにアプリ切り替えを強いずに会話を続けること、そして定型的なシステム操作をバックグラウンドで処理することです。コードエディタ、ブラウザ、メモ、ローカルファイルをまたいで作業し、それらを1つのワークフローでつなぎたい人向けのツールとして提示されています。
製品は現在、非公開開発と社内テストの段階にあると説明されており、提供されたサイトソースには公開価格はありません。利用可能な文面では、Windows 11への注力、APIキーとvaultノートのローカル保存、そして視覚・音声ストリームをユーザーのAPIプロバイダーへ安全に送信することが示されています。
アクティブなデスクトップをリアルタイムで視覚的に読み取り、コンテキストを切り替えずにスクリーン上のピクセルからコード、UIレイアウト、文書を解釈します。
低遅延の応答と割り込み可能な音声フローにより、ハンズフリーで自然な音声会話をサポートします。
プロジェクトのガイドライン、設定、進行中のアイデアをセッションをまたいで保持し、文脈を繰り返す必要を減らします。
自然な意図を、アプリの起動、ウィンドウの整列、スクリプトの実行、ローカルファイルの管理などのWindows操作に変換します。
ローカルファイル、ブラウザタブ、ドキュメントから情報を統合し、要約や実行可能な出力にまとめます。
アクティブな作業環境に適応し、明示的に指示される前に関連ファイルや次の手順を準備できます。
コードを書きながらSKYを使うと、画面を読み取り、表示されているエラーやドキュメントを要約し、手動でコンテキストを切り替えずにエディタ、ブラウザ、メモの間を移動するのを支援します。
セッションをまたいで進行中の作業を追跡し、後でタスクに戻ったときにもプロジェクトの設定や進行中のアイデアを参照できるようにします。
自然な音声でコマンドを出し、追加の質問をし、毎回入力するために作業を止めずに進められます。
OSに定型的なセットアップ作業を任せたいときに、アシスタントを使ってツールを起動し、ウィンドウを整列し、ローカルファイルを管理します。
ローカルファイル、ブラウザタブ、ドキュメントの情報をまとめて、判断の前に簡潔な要約にできます。
このサイトでは、SKYはブラウザタブの中ではなくデスクトップ上で動作する、Windows 11向けのデスクトップ常駐AIコンパニオンとして紹介されています。視覚的な支援、音声対話、記憶、デスクトップ操作を支援するよう設計されています。
ホームページによると、SKYはWindows 11専用に設計されており、ネイティブなWindowsアーキテクチャを使用して、システム操作、通知、空間ウィンドウと深く統合されています。
製品ページでは、SKYはデスクトップ上に表示されている内容を理解し、音声対話を行い、セッションをまたいでプロジェクトの文脈を保持し、ツールの起動や作業スペースのレイアウト整理などのOS操作を行えると説明されています。
サイトでは、APIキーとvaultノートはユーザーの端末上にローカル保存され、視覚および音声ストリームはTLS/WSSを介してAPIプロバイダーへ安全に送信されると説明されています。
入手可能なソースでは、Project SKYは現在、非公開開発と社内テストの段階にあると説明されています。価格ページは現在404を返すため、提供されたサイトソースには価格や利用条件は公開されていません。
Malyatkoは、授乳・睡眠・成長・歯ぐきの発達・発達の節目を1つのアプリで記録できる育児トラッカー。iPhone、Apple Watch、ウィジェットに対応し、登録不要・オフライン利用・iCloud家族共有が可能です。
Gemma AIは、プッシュ通知の代わりに予定に合わせて電話でリマインドする通話型リマインダーアプリです。Googleカレンダー同期と会話形式の操作に対応。
Claude Overlay は、Claude Code 用の Windows デスクトップオーバーレイです。画面内容を読み取り、質問・確認・編集依頼を今のアプリを離れずに行えます。
SpotitはmacOSアプリ。別アプリで行き詰まると画面を読み取り、声の質問と表示ガイドでクリック箇所を提示します。
Yattayo: Slider To-Do Boardは、付箋風のタスク、ウィジェット、リマインダー、iCloud同期で、やることを物理ボードのように管理できる生産性アプリです。
Goldfishは、Mac上の文脈を活用して返信、執筆、要約、作業継続を支援するmacOS向けAIメモリアプリです。メモリはMac内に保存され、あなたらしい文体で書けます。