Pip

PipはMac向けの画面認識AIアシスタント。音声または入力した質問に答え、使うべきボタンやメニューを正確に示します。複数手順の作業を案内し、送信・削除操作は確認後に実行できます。

Macソフトウェア向けの画面認識ヘルプ

Pipは、音声または入力した質問に対応する画面認識ガイダンスを組み合わせたMac向けAIアシスタントです。カーソルの横に表示され、質問されると画面を確認し、作業に関係する正確なインターフェース要素を示します。どのボタン、メニュー、パネルを使うべきかを知ることが、文章による説明を読むより役立つ場面を想定しています。

Pipは、ユーザー自身がクリックする形で、複数手順のワークフローを案内できます。また、Mac上で一部の操作を直接実行でき、情報を送信または削除する操作には確認を求めます。本サービスはmacOS 14.2以降向けに提供され、アプリごとに個別の連携を必要とせず、一般的なMacアプリで利用できると説明されています。

機能

正確な操作箇所を示す

質問すると現在の画面のスクリーンショットを使用し、テキストによる指示だけを返すのではなく、関連するボタン、メニュー、パネル、操作箇所を円で示します。

音声とテキストで質問

キーを押しながら音声で質問するか、質問を入力できます。Pipは簡潔に回答し、その内容を音声で読み上げることもできます。

複数手順の作業を案内

複数の画面やクリックにまたがるワークフローでは、進行に合わせて手順を追い、次のステップを示します。

Macアプリを横断して利用

ブラウザ、システム設定、動画編集ソフト、スプレッドシート、デザインツール、ターミナルでの作業など、アプリごとのプラグインを必要とせず、あらゆるMacアプリで動作すると説明されています。

一部のMac操作を実行

音量の調整、ダークモードの有効化、ウィンドウの整列、タイマーの設定、リマインダーの作成など、指示された一部のローカル作業を実行できます。送信または削除を伴う操作は確認を待ってから実行します。

ターミナルでの音声入力

Proプランでは、Claude CodeとCodex向けのターミナル音声入力が追加されます。この利用では質問クレジットを消費しません。

利用例

不慣れな操作箇所を見つける
ブラウザ、スプレッドシート、デザインツール、システム設定の操作箇所をPipに尋ねます。関連するインターフェース要素を強調表示するため、メニューを探し回らずに変更を行えます。
プロ向けクリエイティブソフトを学ぶ
動画編集ソフト、カラーツール、オーディオスイートで作業しながら、平易な言葉で質問できます。関連するパネルやエフェクトを特定し、クリックの手順に沿って示し続けます。
ターミナルの問題に対処する
ターミナルのエラーやポートの競合について質問します。Pipはプロンプトを示し、コマンドを説明し、ユーザーがコマンドを実行する前に入力内容を表示できます。
日常的なMac操作を行う
ダークモードの有効化、ウィンドウの整列、タイマーの設定、カレンダーの確認、メッセージの下書きなど、日常的なMac操作を依頼できます。PipはMacで対応している操作を実行し、送信または削除の前には確認を求めます。

Pros and Cons

Pros

現在の画面を使って特定の操作箇所を識別し、示します。
別のチャットウィンドウを必要とせず、音声と入力による質問に対応します。
複数回のクリックにまたがるワークフローを追跡でき、Macアプリを横断して動作すると説明されています。
情報を送信または削除する操作の前に確認を行います。
カード情報不要の無料プランに加え、質問数の多い有料プランも用意されています。

Cons

macOS 14.2以降が必要です。その他のオペレーティングシステムへの対応は記載されていません。
質問数はプランごとに上限があり、Freeは月30件、Proは300件、Maxは1,000件です。
Pipはユーザーに代わって操作箇所を自動でクリックするのではなく、ガイド付きワークフローを案内します。

FAQ

Pipとは何ですか？

Pipは、質問されると画面を確認し、文章で回答して関連する操作箇所を示すMacアプリです。別のチャットウィンドウを管理しなくてもソフトウェアの操作を行えるよう設計されています。

Pipはどのオペレーティングシステムに対応していますか？

PipはmacOS 14.2以降にインストールできると記載されています。より詳しい設定手順は提供されていません。

Pipは何を確認し、データはどう扱われますか？

Pipは画面を常時監視しません。ホットキーを押したとき、または2回押した後に質問したとき、あるいは質問を入力したときに画面を確認します。スクリーンショットは保存されません。音声は音声テキスト変換サービスに送信され、質問と1枚のスクリーンショットが回答モデルに送られ、音声で読み上げる場合は回答が音声サービスに送られます。

Pipは私の代わりにコンピューターを操作しますか？

Pipはガイド付きワークフローでは、ユーザーの代わりにクリックするのではなく操作箇所を示します。設定の変更、メディアの再生、ウィンドウの整列、リマインダーの作成、カレンダーの確認、メッセージの送信など、指定されたMac操作を実行できます。情報を送信または削除する操作には確認が必要です。

Pipの料金はいくらですか？

Freeプランは無料で月30件の質問が含まれます。Proは月額15ドルで最大300件、Maxは月額69.99ドルで最大1,000件の質問が含まれます。プランはPipメニューからアップグレード、変更、キャンセルできます。

Quick Facts

カテゴリー: AIアシスタント、仕事効率化ツール
プラットフォーム: macOS 14.2以降
操作方法: 画面上での指示に対応した音声または入力による質問
無料プラン: 0ドル、月30件の質問
有料プラン: Pro：月額15ドル、300件の質問；Max：月額69.99ドル、1,000件の質問
対応アプリ: ブラウザ、ターミナル、デザイン、動画、仕事効率化ソフトなど、Macアプリ全般で動作すると説明されています

Pipの代替品

Claude Overlay

Claude Overlay は、Claude Code 用の Windows デスクトップオーバーレイです。画面内容を読み取り、質問・確認・編集依頼を今のアプリを離れずに行えます。

Spotit

SpotitはmacOSアプリ。別アプリで行き詰まると画面を読み取り、声の質問と表示ガイドでクリック箇所を提示します。

Goldfish

Goldfishは、Mac上の文脈を活用して返信、執筆、要約、作業継続を支援するmacOS向けAIメモリアプリです。メモリはMac内に保存され、あなたらしい文体で書けます。

Flunkey

FlunkeyはWindows向けの音声入力中心の生産性レイヤー。話した内容をテキスト化し、AI支援の出力や記憶した文脈に変換。作業中のアプリを離れずに使えます。

ArtDeck

ArtDeckは、iPhone、iPad、Mac向けのビジュアル参考ボードアプリ。素材を1枚のキャンバスに集約し、ToolBoxレンズでオフラインでも観察できます。iCloud同期は任意、買い切りでアカウント不要。

Biji

Bijiは、革新的なツールと機能を通じて生産性を向上させるために設計された多目的プラットフォームです。

Pip