ビジョンベースの画面理解
Rosply は各ステップでスクリーンショットを取得し、ビジョンモデルに送信し、その結果として得られたアクションを使ってインターフェースを操作します。これにより、DOM アクセスに頼らずにダイアログ、ポップアップ、その他の動的 UI を読み取れます。
Rosplyは、画面を見て自然言語の指示でWindows、macOS、Linuxを操作するAIデスクトップエージェントです。ブラウジング、フォーム入力、ファイル操作、コード生成、音声コマンドに対応します。
Rosply は、画面を見てマウスとキーボードを操作することでタスクを実行する、Windows、macOS、Linux 向けの AI デスクトップエージェントです。やりたいことを平易な言葉で伝えると、エージェントはスクリーンショットの取得、モデルによる推論、デスクトップ操作を繰り返し、タスクが完了するか停止されるまで処理を続けます。
この製品は、ブラウザー限定のワークフローではなく、一般的なデスクトップ自動化を対象としています。サイトでは、Rosply がアプリを開く、Web サイトを操作する、フォームに入力する、画面の内容を読み取って保存する、マウスとキーボード入力で任意のアプリケーションを制御する、VS Code でコードプロジェクトを生成する、音声コマンドに応答する、と説明されています。
Rosply は各ステップでスクリーンショットを取得し、ビジョンモデルに送信し、その結果として得られたアクションを使ってインターフェースを操作します。これにより、DOM アクセスに頼らずにダイアログ、ポップアップ、その他の動的 UI を読み取れます。
このエージェントは、ネイティブデスクトップアプリ全体でクリック、ダブルクリック、右クリック、ドラッグ、入力、スクロール、ホットキー操作を行えます。サイトでは、アプリに公開 API がなくても動作すると説明されています。
組み込みの VS Code 拡張機能で、プロンプトからプロジェクトファイルを生成できます。ドキュメントでは、OpenRouter 経由で DeepSeek V3 を使用し、生成されたファイルをワークスペースまたは新しいフォルダーに直接書き込むと説明されています。
Rosply には Whisper をローカルで実行するウェイクワード対応の音声入力が含まれているため、ユーザーは「Hey Rosply」と言って、アプリにフォーカスしたりホットキーを使ったりせずにタスクを指示できます。
値はステップ間および実行間で保持できるため、Rosply はあるページやアプリケーションの情報を別のページやアプリケーションへ引き継げます。
Ctrl+H で現在の実行を即座に停止でき、ドキュメントでは各タスクも 200 アクションに制限されています。これにより、長時間またはループするタスクに対する実用的な安全制限になります。
Rosply を使ってアプリを開き、Web サイトを操作し、フォームに入力し、人が通常はクリックやスクロールを行うような複数 चरणの Web サイトの流れを進められます。
スタート用プロジェクトや、ワークスペースに直接書き込まれる生成済みコードベースが必要なときに、Rosply に VS Code でコードの雛形作成やファイル作成を依頼できます。
音声ウェイクワードを使ってハンズフリーでタスクを指示し、キーボードから離れて作業している間にやってほしいことを口述できます。
ファイル名の変更、請求書のダウンロード、スプレッドシートの自動化、ページ変更の監視など、繰り返しのデスクトップ作業に Rosply を使えます。
Claude Code との統合を使い、Rosply のグローバル MCP サーバー設定を通じて Claude Code 内からデスクトップ操作を実行できます。
Rosply は、Python と Node.js の依存関係、Electron UI、VS Code 拡張機能を自動的にインストールするスクリプトからセットアップします。ドキュメントでは、初回実行には数分かかり、開始するには OpenRouter API キーが必要だと説明されています。
はい。ドキュメントでは、Windows 10/11、macOS 12+、Linux が対応プラットフォームとして挙げられており、Windows が推奨されています。ホームページでは macOS サポートはベータ版と記載されていますが、ドキュメントでは macOS と Linux が完全対応として説明されています。
Rosply は既定で OpenRouter 経由のビジョンモデルを使用します。ドキュメントでは既定モデルは OpenRouter の Qwen VL モデルとされており、ホームページではローカルモデルやその他のビジョン対応プロバイダーも使用できると記載されています。
Rosply は、共有チーム向けワークフローではなく、単一ユーザー向けのデスクトップ自動化として構築されています。サイトには、チーム用シート、共同プロジェクト、管理者コントロールについての記載はありません。
製品ページでは、Rosply は Ctrl+H でいつでも停止でき、各実行は暴走ループを防ぐために 200 アクションに制限されていると説明されています。
Awishは、自然言語の指示を連携アプリ間の自動ワークフローに変えるAI搭載のノーコード自動化プラットフォーム。反復作業、チャット型アシスタント、更新作業を手動設定なしで自動化。
MealTimeは、レシピの保存、整理、献立計画、スマートな買い物リストの作成を支援するために設計された、パーソナルでオフラインファーストのレシピコンパニオンです。すべての操作においてプライバシーを重視しています。
Goldfishは、Mac上の文脈を活用して返信、執筆、要約、作業継続を支援するmacOS向けAIメモリアプリです。メモリはMac内に保存され、あなたらしい文体で書けます。
Bijiは、革新的なツールと機能を通じて生産性を向上させるために設計された多目的プラットフォームです。
Codex Plugins は、再利用可能なスキル、アプリ連携、MCPサーバーを Codex app や Codex CLI で使えるワークフローにまとめます。接続サービスの作業や共有チームワークフローを拡張できます。
Struereは、スプレッドシートのデータをダッシュボード、アラート、自動化付きの構造化された業務ソフトへ変えるAIネイティブなプラットフォーム。手作業の表計算業務を置き換えたいチーム向け。