Known Agents

¿Qué es Known Agents?

Known Agents es una plataforma de analítica y control web para monitorear agentes de IA, asistentes LLM y otros bots que rastrean tu sitio. Su propósito principal es hacer visible este “tráfico oculto de bots” en tiempo real y ayudarte a gestionar cómo bots y agentes acceden a tu contenido.

En lugar de tratar todo el tráfico automatizado de la misma manera, Known Agents ofrece identificación de agentes, líneas de tiempo de navegación reproducibles y observabilidad para fuentes y endpoints de tráfico de agentes específicos, junto con herramientas para generar y actualizar continuamente reglas de robots.txt y bloquear bots maliciosos.

Características principales

• Analítica de agentes de IA y bots con visibilidad en tiempo real: Ve crawlers, scrapers y agentes de IA que visitan tu sitio web, incluyendo las páginas que objetivoizan.
• Reproducción de sesiones de agentes: Sigue la navegación de un agente individual para identificar dónde se atasca, dónde hace bucles o dónde llega a callejones sin salida.
• Seguimiento de referencias LLM (GEO/AEO): Rastrea citas y clics desde plataformas de chat de IA (p. ej., ChatGPT, Claude, Gemini) para medir qué páginas se referencian y cuáles se visitan.
• Observabilidad de MCP y compras: Monitorea tráfico agentic a endpoints MCP y evalúa métricas de rendimiento del embudo de comercio como UCP y ACP.
• Protección automática de robots.txt: Sirve un robots.txt que se actualiza continuamente, agregando reglas a medida que emergen nuevos agentes sin ediciones manuales.
• Detección y bloqueo de bots maliciosos: Detecta bots que ignoran reglas de robots.txt y bloquea scrapers/intentos de automatización maliciosos; se menciona soporte para plugin de WordPress.
• API de Identificación de Agentes (Web Bot Auth): Autentica agentes desde tu propio código e implementa control de acceso para contenido con licencia vía “Web Bot Auth”.

Cómo usar Known Agents

• Conecta Known Agents a tu sitio usando una de las opciones disponibles mencionadas en el sitio web: WordPress, tu CDN o la Known Agents API.
• Comienza a ver actividad de bots y agentes en la interfaz de analítica para identificar los agentes que visitan tu sitio, las páginas que objetivoizan y picos de tráfico.
• Activa controles automáticos de robots.txt para que tus reglas de robots.txt se actualicen a medida que se descubren nuevas categorías de agentes.
• Usa detección de bots maliciosos (incluyendo la opción de plugin de WordPress) para bloquear bots que no siguen tus reglas de robots.txt.
• Si publicas contenido con licencia o necesitas acceso controlado, integra la API de Identificación de Agentes desde tu propio código para autenticar agentes y aplicar control de acceso.

Casos de uso

• Identifica tráfico de referencias de chats de IA y mide rendimiento de citas: Usa seguimiento de referencias LLM para ver qué páginas se citan en respuestas de chats de IA y cuántos humanos hacen clic desde esas citas.
• Depura por qué un agente no puede completar una tarea: Reproduce una sesión de agente individual para encontrar dónde se atasca o falla en llegar a páginas clave, luego ajusta la estructura de contenido o enrutamiento.
• Detecta comportamiento de crawlers suplantados y protege recursos: Usa la línea de tiempo en tiempo real para detectar casos donde un crawler parece legítimo pero está suplantado (incluyendo ejemplos con rechazos HTTP 403).
• Controla acceso para material con licencia: Autentica agentes con la API de Identificación de Agentes (Web Bot Auth) e implementa restricciones de acceso para categorías específicas de agentes.
• Monitorea comercio agentic y actividad de endpoints: Usa observabilidad de MCP y compras para ver cómo interactúan los agentes con endpoints MCP y evaluar resultados de embudo UCP/ACP.

Preguntas frecuentes

¿Known Agents funciona con WordPress?

Sí. El sitio web menciona un plugin de WordPress para habilitar detección y bloqueo de bots que ignoran reglas de robots.txt, y también nota conectividad con WordPress.

¿Puede Known Agents actualizar automáticamente reglas de robots.txt?

Sí. Known Agents ofrece Robots.txt Automático, descrito como actualizaciones continuas y adición de scrapers recién descubiertos sin requerir ediciones manuales.

¿Qué tipos de agentes puede rastrear Known Agents?

El sitio describe rastreo de crawlers, scrapers y agentes de IA, incluyendo referencias a plataformas de chat de IA (para seguimiento de referencias LLM) y tráfico agentic a endpoints MCP.

¿Cómo ayuda Known Agents con bots maliciosos?

Incluye detección de bots maliciosos que bloquea bots que ignoran reglas de robots.txt, y proporciona una vista en tiempo real (línea de tiempo) que muestra cuándo las solicitudes son aceptadas o rechazadas por tu servidor.

¿Hay una opción para autenticar agentes de forma programática?

Sí. Known Agents menciona una API de Identificación de Agentes usando Web Bot Auth para autenticar agentes desde tu propio código e implementar control de acceso para contenido con licencia.

Alternativas

• Analítica web general con filtrado de bots: Las herramientas que se centran en analítica de tráfico estándar se pueden combinar con filtrado de bots, pero normalmente no ofrecen observabilidad específica para agentes (p. ej., repetición de sesiones para agentes de IA, seguimiento de referencias de citas de LLM o autenticación de agentes).
• Plataformas de seguridad web y gestión de bots: Las soluciones de gestión de bots enfocadas en seguridad pueden ayudar a bloquear o desafiar automatizaciones sospechosas, pero no ofrecen el mismo seguimiento específico de LLM/agentes de citas, patrones de navegación o actualizaciones automáticas de robots.txt por categoría de agente.
• Gestión de robots.txt + analítica de crawlers vía logs: Gestionar robots.txt manualmente y analizar logs del servidor puede revelar actividad de crawlers, pero requiere más mantenimiento manual y no proporciona las mismas funciones estructuradas de referencias de LLM y repetición de sesiones de agentes descritas para Known Agents.
• Controles solo de CDN/WAF: Usar solo reglas de CDN o WAF puede reducir tráfico no deseado, pero generalmente no cubre las necesidades analíticas específicas para agentes de IA (p. ej., seguimiento de referencias de LLM estilo GEO/AEO y observabilidad de endpoints MCP).