Known Agents

Qu'est-ce que Known Agents ?

Known Agents est une plateforme d'analyse et de contrôle pour les sites web, dédiée à la surveillance des agents IA, assistants LLM et autres bots qui parcourent votre site. Son objectif principal est de rendre ce « trafic bot caché » visible en temps réel et de vous aider à gérer l'accès des bots et agents à votre contenu.

Au lieu de traiter tout le trafic automatisé de la même manière, Known Agents propose une identification des agents, des chronologies de navigation rejouables et une observabilité pour des sources et endpoints de trafic agent spécifiques — avec des outils pour générer et mettre à jour en continu les règles robots.txt, et pour bloquer les bots malveillants.

Fonctionnalités principales

• Analytics agents IA & bots avec visibilité temps réel : Visualisez les crawlers, scrapers et agents IA visitant votre site, y compris les pages qu'ils ciblent.
• Rejeu de sessions d'agents : Suivez la navigation d'un agent individuel pour identifier où il se bloque, boucle ou atteint des impasses.
• Suivi des références LLM (GEO/AEO) : Suivez les citations et clics provenant de plateformes de chat IA (ex. : ChatGPT, Claude, Gemini) pour mesurer quelles pages sont référencées et visitées.
• Observabilité MCP & shopping : Surveillez le trafic agentique vers les endpoints MCP et évaluez les métriques de performance des entonnoirs commerciaux comme UCP et ACP.
• Protection robots.txt automatique : Fournissez automatiquement un robots.txt mis à jour en continu, ajoutant des règles pour les nouveaux agents sans édition manuelle.
• Détection et blocage de mauvais bots : Détectez les bots ignorant les règles robots.txt et bloquez les scrapers/automations malveillants ; prise en charge du plugin WordPress.
• API d'identification d'agents (Web Bot Auth) : Authentifiez les agents depuis votre propre code et implémentez un contrôle d'accès pour le contenu sous licence via « Web Bot Auth ».

Comment utiliser Known Agents

• Connectez Known Agents à votre site via l'une des options disponibles sur le site : WordPress, votre CDN, ou l'API Known Agents.
• Commencez à visualiser l'activité des bots et agents dans l'interface analytics pour identifier les agents visitant votre site, les pages ciblées et les pics de trafic.
• Activez les contrôles robots.txt automatiques pour que vos règles robots.txt se mettent à jour à mesure que de nouvelles catégories d'agents sont découvertes.
• Utilisez la détection de mauvais bots (y compris l'option plugin WordPress) pour bloquer les bots ne respectant pas vos règles robots.txt.
• Si vous publiez du contenu sous licence ou avez besoin d'un accès contrôlé, intégrez l'API d'identification d'agents depuis votre propre code pour authentifier les agents et appliquer un contrôle d'accès.

Cas d'usage

• Identifier le trafic issu de références de chat IA et mesurer les performances de citation : Utilisez le suivi des références LLM pour voir quelles pages sont citées dans les réponses de chat IA et combien d'humains cliquent depuis ces citations.
• Déboguer pourquoi un agent n'arrive pas à compléter une tâche : Rejouez une session agent unique pour trouver où il se bloque ou échoue à atteindre des pages clés, puis ajustez la structure de contenu ou le routage.
• Détecter les comportements de crawlers spoofés et protéger les ressources : Utilisez la chronologie temps réel pour repérer les cas où un crawler semble légitime mais est spoofé (y compris des exemples avec rejets HTTP 403).
• Contrôler l'accès aux matériaux sous licence : Authentifiez les agents avec l'API d'identification d'agents (Web Bot Auth) et implémentez des restrictions d'accès pour des catégories d'agents spécifiques.
• Surveiller le commerce agentique et l'activité des endpoints : Utilisez l'observabilité MCP & shopping pour observer les interactions des agents avec les endpoints MCP et évaluer les résultats des entonnoirs UCP/ACP.

FAQ

Known Agents fonctionne-t-il avec WordPress ?

Oui. Le site mentionne un plugin WordPress pour activer la détection et le blocage des bots ignorant les règles robots.txt, et note aussi la connectivité avec WordPress.

Known Agents peut-il mettre à jour automatiquement les règles robots.txt ?

Oui. Known Agents propose Robots.txt automatique, décrit comme se mettant à jour en continu et ajoutant les nouveaux scrapers découverts sans édition manuelle.

Quels types d'agents Known Agents peut-il suivre ?

Le site décrit le suivi des crawlers, scrapers et agents IA, y compris les références aux plateformes de chat IA (pour le suivi des références LLM) et le trafic agentique vers les endpoints MCP.

Comment Known Agents aide-t-il avec les bots malveillants ?

Il inclut une détection de mauvais bots qui bloque les bots ignorant les règles robots.txt, et fournit une vue temps réel (chronologie) indiquant quand les requêtes sont acceptées ou rejetées par votre serveur.

Y a-t-il une option pour authentifier les agents par programmation ?

Oui. Known Agents mentionne une API d'identification d'agents utilisant Web Bot Auth pour authentifier les agents depuis votre propre code et implémenter un contrôle d'accès pour le contenu sous licence.

Alternatives

• Analytics web généralistes + filtrage des bots : Les outils axés sur l’analyse du trafic standard peuvent être combinés avec un filtrage des bots, mais ils ne fournissent généralement pas d’observabilité spécifique aux agents (ex. : replay de session pour agents IA, suivi des références de citations LLM, ou authentification d’agents).
• Plateformes de sécurité web et gestion des bots : Les solutions de gestion des bots axées sur la sécurité peuvent bloquer ou défier l’automatisation suspecte, mais ne proposent pas le même suivi spécifique aux LLM/agents en termes de citations, schémas de navigation ou mises à jour automatiques de robots.txt par catégorie d’agent.
• Gestion de robots.txt + analytics des crawlers via logs : Gérer robots.txt manuellement et analyser les logs serveur peut révéler l’activité des crawlers, mais cela demande plus d’entretien manuel et ne fournit pas les fonctionnalités structurées de suivi des références LLM et replay de sessions d’agents décrites pour Known Agents.
• Contrôles CDN/WAF uniquement : Utiliser uniquement des règles CDN ou WAF peut réduire le trafic indésirable, mais cela ne couvre généralement pas les besoins analytiques spécifiques aux agents IA (ex. : suivi des références LLM style GEO/AEO et observabilité des endpoints MCP).