Known Agents

Known Agents 是什么？

Known Agents 是一个网站分析与控制平台，用于监控访问您网站的 AI 代理、LLM 助手和其他爬虫。其核心目的是让这种“隐藏的机器人流量”实时可见，并帮助您管理机器人和代理访问您内容的方式。

Known Agents 不会将所有自动化流量一视同仁，而是提供代理识别、可回放的导航时间线，以及针对特定代理流量来源和端点的可观测性——同时配备生成并持续更新 robots.txt 规则的工具，以及拦截违规爬虫的工具。

主要功能

• AI 代理与机器人分析，提供实时可见性：查看访问您网站的爬虫、抓取器和 AI 代理，包括它们针对的页面。
• 代理会话回放：跟踪单个代理的导航路径，识别其卡住、循环或到达死胡同的位置。
• LLM 引荐追踪（GEO/AEO）：追踪来自 AI 聊天平台（例如 ChatGPT、Claude、Gemini）的引用和点击，衡量哪些页面被引用以及哪些被访问。
• MCP 与购物可观测性：监控代理流量至 MCP 端点，评估商业漏斗性能指标，如 UCP 和 ACP。
• 自动 robots.txt 保护：自动提供持续更新的 robots.txt，随着新代理出现添加规则，无需手动编辑。
• 恶意机器人检测与拦截：检测无视 robots.txt 规则的机器人，并拦截违规抓取器/自动化尝试；提及 WordPress 插件支持。
• 代理识别 API（Web Bot Auth）：从您自己的代码中验证代理，并通过“Web Bot Auth”对授权内容实施访问控制。

如何使用 Known Agents

• 将 Known Agents 连接到您的网站，使用网站上提到的可用选项：WordPress、您的 CDN 或 Known Agents API。
• 在分析界面开始查看机器人和代理活动，识别访问您网站的代理、它们针对的页面以及流量峰值。
• 启用自动 robots.txt 控制，以便在发现新代理类别时更新您的 robots.txt 规则。
• 使用恶意机器人检测（包括 WordPress 插件选项）拦截不遵守您 robots.txt 规则的机器人。
• 如果您发布授权内容或需要受控访问，从您自己的代码中集成 代理识别 API 以验证代理并强制执行访问控制。

使用场景

• 识别 AI 聊天引用流量并衡量引用性能：使用 LLM 引荐追踪查看哪些页面在 AI 聊天响应中被引用，以及有多少人从这些引用点击进入。
• 调试代理无法完成任务的原因：回放单个代理会话，找出其卡住或无法到达关键页面的位置，然后调整内容结构或路由。
• 发现伪造爬虫行为并保护资源：使用实时时间线检测爬虫看似合法但实际被伪造的情况（包括涉及 HTTP 403 拒绝的示例）。
• 控制授权材料的访问：使用代理识别 API（Web Bot Auth）验证代理，并对特定代理类别实施访问限制。
• 监控代理商业与端点活动：使用 MCP 与购物可观测性观察代理如何与 MCP 端点交互，并评估 UCP/ACP 漏斗结果。

常见问题

Known Agents 支持 WordPress 吗？

是的。网站提及 WordPress 插件 用于启用检测和拦截无视 robots.txt 规则的机器人，并注明与 WordPress 的连接性。

Known Agents 可以自动更新 robots.txt 规则吗？

是的。Known Agents 提供 自动 Robots.txt，描述为持续更新并添加新发现的抓取器，无需手动编辑。

Known Agents 可以追踪哪些类型的代理？

网站描述追踪 爬虫、抓取器和 AI 代理，包括对 AI 聊天平台（用于 LLM 引荐追踪）和代理流量至 MCP 端点 的引用。

Known Agents 如何处理违规机器人？

它包括 恶意机器人检测，拦截无视 robots.txt 规则的机器人，并提供实时视图（时间线）显示请求何时被您的服务器接受或拒绝。

是否有选项以编程方式验证代理？

是的。Known Agents 提及使用 Web Bot Auth 的 代理识别 API，从您自己的代码中验证代理并对授权内容实施访问控制。

替代方案

• 通用网页分析 + 机器人过滤：专注于标准流量分析的工具可结合机器人过滤使用，但通常无法提供代理专属的可观测性（例如，AI代理的会话重放、LLM引用引荐追踪或代理认证）。
• 网页安全与机器人管理平台：安全导向的机器人管理解决方案可帮助拦截或挑战可疑自动化行为，但可能无法提供相同的LLM/代理专属追踪，如引用追踪、导航模式或按代理类别自动更新robots.txt。
• Robots.txt管理 + 通过日志的爬虫分析：手动管理robots.txt并分析服务器日志可揭示爬虫活动，但需要更多手动维护，且无法提供Known Agents所述的结构化LLM引荐和代理会话重放功能。
• 仅CDN/WAF控制：仅使用CDN或WAF规则可减少 unwanted 流量，但通常无法覆盖AI代理的特定分析需求（例如，GEO/AEO式LLM引荐追踪和MCP端点可观测性）。