Known Agents

Known Agents 是什麼？

Known Agents 是一個網站分析與控制平台，用於監控 AI 代理、LLM 助理及其他爬取你網站的機器人。其核心目的是讓這類「隱藏機器人流量」即時可見，並協助你管理機器人與代理存取內容的方式。

Known Agents 不將所有自動化流量一視同仁，而是提供代理辨識、可重播導航時間線，以及特定代理流量來源與端點的可觀測性—同時附帶產生並持續更新 robots.txt 規則的工具，以及阻擋異常行為機器人的功能。

AI 代理與機器人分析，具即時可見性：查看爬取者、擷取器及造訪你網站的 AI 代理，包括它們鎖定的頁面。
代理工作階段重播：追蹤個別代理的導航路徑，辨識它卡住的位置、循環點，或無法到達的死巷。
LLM 引用追蹤 (GEO/AEO)：追蹤來自 AI 聊天平台的引用與點擊（例如 ChatGPT、Claude、Gemini），測量哪些頁面被引用及造訪。
MCP 與購物可觀測性：監控代理流量至 MCP 端點，並評估商務漏斗效能指標，如 UCP 與 ACP。
自動 robots.txt 保護：自動提供持續更新的 robots.txt，隨著新代理出現即新增規則，無需手動編輯。
惡意機器人偵測與阻擋：偵測無視 robots.txt 規則的機器人，並阻擋異常擷取器/自動化嘗試；提及 WordPress 外掛支援。
代理辨識 API (Web Bot Auth)：從你自己的程式碼驗證代理，並透過「Web Bot Auth」對授權內容實施存取控制。

將 Known Agents 連接到你的網站，使用網站上提及的選項之一：WordPress、你的 CDN，或 Known Agents API。
開始在分析介面查看機器人與代理活動，辨識造訪你網站的代理、它們鎖定的頁面，以及流量激增。
啟用自動 robots.txt 控制，讓你的 robots.txt 規則隨著新代理類別被發現而更新。
使用惡意機器人偵測（包含 WordPress 外掛選項），阻擋不遵守你 robots.txt 規則的機器人。
若你發布授權內容或需控制存取，從你自己的程式碼整合 代理辨識 API，驗證代理並強制執行存取控制。

是的。網站提及 WordPress 外掛，用於啟用偵測與阻擋無視 robots.txt 規則的機器人，並註明與 WordPress 的連通性。

是的。Known Agents 提供 自動 Robots.txt，描述為持續更新並新增新發現的擷取器，無需手動編輯。

網站描述追蹤 爬取者、擷取器及 AI 代理，包含 AI 聊天平台（用於 LLM 引用追蹤）及至 MCP 端點 的代理流量。

它包含 惡意機器人偵測，阻擋無視 robots.txt 規則的機器人，並提供即時檢視（時間線），顯示請求何時被你的伺服器接受或拒絕。

是的。Known Agents 提及 代理辨識 API，使用 Web Bot Auth 從你自己的程式碼驗證代理，並對授權內容實施存取控制。

通用網頁分析加機器人過濾：專注標準流量分析的工具可搭配機器人過濾，但通常不提供代理專屬可觀測性（例如 AI 代理的會話重播、LLM 引用追蹤，或代理認證）。
網頁安全與機器人管理平台：安全導向的機器人管理解決方案可阻擋或挑戰可疑自動化，但可能無法提供相同 LLM/代理專屬的引用追蹤、導航模式，或依代理類別自動更新 robots.txt。
Robots.txt 管理 + 透過日誌的爬蟲分析：手動管理 robots.txt 並分析伺服器日誌可揭露爬蟲活動，但需更多手動維護，且無法提供 Known Agents 所述的結構化 LLM 引用與代理會話重播功能。
僅 CDN/WAF 控制：僅使用 CDN 或 WAF 規則可減少不想要的流量，但通常無法涵蓋 AI 代理的特定分析需求（例如 GEO/AEO 風格的 LLM 引用追蹤與 MCP 端點可觀測性）。