Known Agents

Known Agentsとは？

Known Agentsは、ウェブサイトをクロールするAIエージェント、LLMアシスタント、その他のボットを監視するためのウェブサイト分析・制御プラットフォームです。主な目的は、この「隠れたボットトラフィック」をリアルタイムで可視化し、ボットやエージェントがコンテンツにアクセスする方法を管理する手助けをすることです。

すべての自動化トラフィックを同じように扱うのではなく、Known Agentsはエージェント識別、再現可能なナビゲーションタイムライン、特定のエージェントトラフィックソースとエンドポイントの可観測性を提供します。また、robots.txtルールを生成・継続的に更新し、悪質なボットをブロックするツールも備えています。

主な機能

• AIエージェント＆ボット分析（リアルタイム可視化）: ウェブサイトを訪問するクローラー、スクラパー、AIエージェントを確認し、対象ページも把握。
• エージェントセッションリプレイ: 個別エージェントのナビゲーションを追跡し、詰まる箇所、ループ、行き止まりを特定。
• LLM参照追跡（GEO/AEO）: AIチャットプラットフォーム（例: ChatGPT, Claude, Gemini）からの引用とクリックスルーを追跡し、参照・訪問されるページを測定。
• MCP＆ショッピング可観測性: MCPエンドポイントへのエージェントトラフィックを監視し、UCPやACPなどのコマースファネルパフォーマンスメトリクスを評価。
• 自動robots.txt保護: 新しいエージェントが出現するたびにルールを追加し、手動編集不要で継続的に更新されるrobots.txtを自動配信。
• 悪質ボット検知・ブロック: robots.txtルールを無視するボットを検知・ブロックし、悪質スクラパー/自動化を遮断。WordPressプラグイン対応あり。
• エージェント識別API（Web Bot Auth）: 独自コードでエージェントを認証し、「Web Bot Auth」を使ったライセンスコンテンツのアクセス制御を実現。

Known Agentsの使い方

• ウェブサイトで紹介されているオプションを使ってサイトにKnown Agentsを接続: WordPress、CDN、またはKnown Agents API。
• アナリティクスインターフェースでボット・エージェント活動を確認: 訪問エージェント、対象ページ、トラフィックスパイクを特定。
• 新しいエージェントカテゴリが発見されるたびに自動robots.txt制御を有効化。
• robots.txtルールに従わないボットをブロックする悪質ボット検知を使用（WordPressプラグインオプション含む）。
• ライセンスコンテンツを公開する場合や制御アクセスが必要なら、独自コードでエージェント識別APIを統合し、エージェント認証とアクセス制御を実施。

ユースケース

• AIチャット参照からのトラフィック特定と引用パフォーマンス測定: LLM参照追跡でAIチャット応答内の引用ページと、そこからの人間クリックスルー数を確認。
• エージェントがタスクを完了できない理由をデバッグ: 単一エージェントセッションをリプレイし、詰まる箇所やキー頁到達失敗を特定後、コンテンツ構造やルーティングを調整。
• 偽装クローラー行動を検知しリソース保護: リアルタイムタイムラインで正当に見えるが実際は偽装のクローラーを検知（HTTP 403拒否例含む）。
• ライセンス素材のアクセス制御: エージェント識別API（Web Bot Auth）でエージェントを認証し、特定エージェントカテゴリにアクセス制限を実施。
• エージェントコマースとエンドポイント活動監視: MCP＆ショッピング可観測性でMCPエンドポイントとのエージェント相互作用を監視し、UCP/ACPファネル結果を評価。

FAQ

Known AgentsはWordPressに対応していますか？

はい。ウェブサイトでは、robots.txtルールを無視するボットの検知・ブロックを有効化するWordPressプラグインを記載し、WordPressとの接続性も言及。

Known Agentsはrobots.txtルールを自動更新できますか？

はい。Known Agentsは自動robots.txtを提供し、手動編集不要で新発見スクラパーを継続的に追加・更新。

Known Agentsはどのようなエージェントを追跡できますか？

サイトではクローラー、スクラパー、AIエージェントの追跡を記述。LLM参照追跡のためのAIチャットプラットフォームやMCPエンドポイントへのエージェントトラフィックを含む。

Known Agentsは悪質ボットをどう防ぎますか？

robots.txtルールを無視するボットをブロックする悪質ボット検知を備え、サーバーによるリクエスト受付/拒否をリアルタイムビュー（タイムライン）で表示。

プログラム的にエージェントを認証するオプションはありますか？

はい。Known Agentsはエージェント識別API（Web Bot Auth使用）を記載し、独自コードでエージェント認証とライセンスコンテンツのアクセス制御を実施。

代替案

• 汎用ウェブ解析＋ボットフィルタリング：標準トラフィック解析に注力したツールをボットフィルタリングと組み合わせられますが、エージェント特化の可視化（例：AIエージェント向けセッションリプレイ、LLM引用参照追跡、エージェント認証）を提供しません。
• ウェブセキュリティ・ボット管理プラットフォーム：セキュリティ重視のボット管理ソリューションは不審な自動化をブロック・チャレンジできますが、引用・ナビゲーション・パターン追跡やエージェントカテゴリ別robots.txt自動更新といったLLM/エージェント特化の追跡は提供しない場合があります。
• Robots.txt管理＋ログ経由クローラ解析：robots.txtを手動管理しサーバーログを解析することでクローラ活動を把握できますが、手動メンテナンスが多く、Known Agentsで説明した構造化LLM参照追跡やエージェントセッションリプレイ機能は提供しません。
• CDN/WAFのみの制御：CDNやWAFルールのみで不要トラフィックを削減できますが、AIエージェント特化の解析ニーズ（例：GEO/AEO形式LLM参照追跡、MCPエンドポイント可視化）をカバーしません。