Known Agents

Что такое Known Agents?

Known Agents — это платформа аналитики и контроля сайта для мониторинга AI-агентов, LLM-ассистентов и других ботов, которые сканируют ваш сайт. Её основная цель — сделать этот «скрытый трафик ботов» видимым в реальном времени и помочь управлять доступом ботов и агентов к вашему контенту.

Вместо одинакового отношения ко всему автоматизированному трафику Known Agents предоставляет идентификацию агентов, воспроизводимые временные шкалы навигации и наблюдаемость для конкретных источников и конечных точек трафика агентов — вместе с инструментами для генерации и непрерывного обновления правил robots.txt и блокировки плохо ведущихся ботов.

Ключевые функции

• Аналитика AI-агентов и ботов с видимостью в реальном времени: Видьте краулеры, скраперы и AI-агенты, посещающие ваш сайт, включая целевые страницы.
• Воспроизведение сессий агентов: Отслеживайте навигацию отдельного агента, чтобы выявить, где он застревает, зацикливается или упирается в тупик.
• Отслеживание LLM-рефералов (GEO/AEO): Отслеживайте цитирования и клики из AI-чат-платформ (например, ChatGPT, Claude, Gemini), чтобы измерить, какие страницы упоминаются и посещаются.
• Наблюдаемость MCP и шопинга: Мониторьте агентный трафик на MCP-конечные точки и оценивайте метрики производительности торговой воронки, такие как UCP и ACP.
• Автоматическая защита robots.txt: Автоматически предоставляйте robots.txt, который обновляется непрерывно, добавляя правила для новых агентов без ручного редактирования.
• Обнаружение и блокировка плохих ботов: Обнаруживайте ботов, игнорирующих правила robots.txt, и блокируйте плохо ведущихся скраперов/попыток автоматизации; поддержка плагина WordPress.
• API идентификации агентов (Web Bot Auth): Аутентифицируйте агентов из вашего кода и реализуйте контроль доступа для лицензированного контента через «Web Bot Auth».

Как использовать Known Agents

• Подключите Known Agents к сайту одним из доступных вариантов, указанных на сайте: WordPress, ваш CDN или Known Agents API.
• Начните просмотр активности ботов и агентов в интерфейсе аналитики, чтобы выявить агентов, посещающих сайт, целевые страницы и всплески трафика.
• Включите автоматический контроль robots.txt, чтобы правила обновлялись при обнаружении новых категорий агентов.
• Используйте обнаружение плохих ботов (включая опцию плагина WordPress) для блокировки ботов, не соблюдающих правила robots.txt.
• Если вы публикуете лицензированный контент или нужен контролируемый доступ, интегрируйте Agent Identification API из вашего кода для аутентификации агентов и принудительного контроля доступа.

Сценарии использования

• Выявление трафика из ссылок AI-чатов и измерение производительности цитирований: Используйте отслеживание LLM-рефералов, чтобы увидеть, какие страницы цитируются в ответах AI-чатов, и сколько людей кликает по этим цитированиям.
• Отладка, почему агент не может завершить задачу: Воспроизведите сессию одного агента, чтобы найти, где он застревает или не доходит до ключевых страниц, затем скорректируйте структуру контента или маршрутизацию.
• Обнаружение поддельных краулеров и защита ресурсов: Используйте временную шкалу в реальном времени, чтобы выявить случаи, когда краулер кажется легитимным, но на самом деле подделан (включая примеры с отклонениями HTTP 403).
• Контроль доступа к лицензированному материалу: Аутентифицируйте агентов с помощью Agent Identification API (Web Bot Auth) и внедрите ограничения доступа для конкретных категорий агентов.
• Мониторинг агентного коммерческого трафика и активности конечных точек: Используйте наблюдаемость MCP и шопинга, чтобы отслеживать взаимодействие агентов с MCP-конечными точками и оценивать исходы воронки UCP/ACP.

FAQ

Работает ли Known Agents с WordPress?

Да. На сайте упоминается плагин WordPress для включения обнаружения и блокировки ботов, игнорирующих правила robots.txt, а также подключение к WordPress.

Может ли Known Agents автоматически обновлять правила robots.txt?

Да. Known Agents предоставляет Automatic Robots.txt, который непрерывно обновляется и добавляет недавно обнаруженных скраперов без ручного редактирования.

Какие виды агентов отслеживает Known Agents?

Сайт описывает отслеживание краулеров, скраперов и AI-агентов, включая ссылки на AI-чат-платформы (для отслеживания LLM-рефералов) и агентный трафик на MCP-конечные точки.

Как Known Agents помогает с плохо ведущимися ботами?

Включает обнаружение плохих ботов, блокирующее ботов, игнорирующих правила robots.txt, и предоставляет вид в реальном времени (временную шкалу), показывающий, когда запросы принимаются или отклоняются сервером.

Есть ли опция программной аутентификации агентов?

Да. Known Agents упоминает Agent Identification API с использованием Web Bot Auth для аутентификации агентов из вашего кода и реализации контроля доступа для лицензированного контента.

Альтернативы

• Универсальная веб-аналитика + фильтрация ботов: Инструменты, ориентированные на стандартную аналитику трафика, можно комбинировать с фильтрацией ботов, но они обычно не обеспечивают специфическую наблюдаемость для агентов (например, воспроизведение сессий для AI-агентов, отслеживание LLM citation referral или аутентификацию агентов).
• Платформы веб-безопасности и управления ботами: Решения для управления ботами с фокусом на безопасность помогают блокировать или проверять подозрительную автоматизацию, но могут не предлагать такого же отслеживания LLM/агентов — цитирований, паттернов навигации или автообновления robots.txt по категориям агентов.
• Управление robots.txt + аналитика краулеров через логи: Ручное управление robots.txt и анализ серверных логов выявляют активность краулеров, но требуют больше ручного обслуживания и не обеспечивают структурированного LLM referral и воспроизведения сессий агентов, как в Known Agents.
• Только контролы CDN/WAF: Использование только правил CDN или WAF снижает нежелательный трафик, но обычно не покрывает специфические аналитические нужды для AI-агентов (например, GEO/AEO-style LLM referral tracking и наблюдаемость MCP endpoint).