Known Agents

Cos'è Known Agents?

Known Agents è una piattaforma di analisi e controllo per siti web che monitora gli agenti AI, gli assistenti LLM e altri bot che navigano sul tuo sito. Il suo scopo principale è rendere visibile in tempo reale questo “traffico bot nascosto” e aiutarti a gestire l'accesso di bot e agenti ai tuoi contenuti.

Invece di trattare tutto il traffico automatizzato allo stesso modo, Known Agents offre identificazione degli agenti, timeline di navigazione riproducibili e osservabilità per fonti di traffico agentico specifiche e endpoint—insieme a strumenti per generare e aggiornare continuamente le regole robots.txt e per bloccare bot maleducati.

Caratteristiche Principali

• Analytics per agenti AI e bot con visibilità in tempo reale: Visualizza crawler, scraper e agenti AI che visitano il tuo sito, incluse le pagine che prendono di mira.
• Replay delle sessioni agentiche: Segui la navigazione di un singolo agente per identificare dove si blocca, dove cicla o dove raggiunge vicoli ciechi.
• Tracciamento referral LLM (GEO/AEO): Monitora citazioni e click-through da piattaforme di chat AI (es. ChatGPT, Claude, Gemini) per misurare quali pagine vengono referenziate e quali visitate.
• Osservabilità MCP e shopping: Monitora il traffico agentico verso MCP endpoints e valuta metriche di performance del funnel commerciale come UCP e ACP.
• Protezione automatica robots.txt: Serve automaticamente un robots.txt che si aggiorna continuamente, aggiungendo regole man mano che emergono nuovi agenti senza modifiche manuali.
• Rilevamento e blocco di bot cattivi: Rileva bot che ignorano le regole robots.txt e blocca scraper/automazioni maleducate; è menzionato il supporto per plugin WordPress.
• Agent Identification API (Web Bot Auth): Autentica agenti dal tuo codice e implementa controlli di accesso per contenuti con licenza tramite “Web Bot Auth”.

Come Usare Known Agents

• Collega Known Agents al tuo sito usando una delle opzioni disponibili sul sito: WordPress, la tua CDN o l'Known Agents API.
• Inizia a visualizzare l'attività di bot e agenti nell'interfaccia analytics per identificare gli agenti che visitano il tuo sito, le pagine che prendono di mira e i picchi di traffico.
• Abilita i controlli automatici robots.txt così che le tue regole robots.txt si aggiornino man mano che vengono scoperti nuovi categorie di agenti.
• Usa il rilevamento bot cattivi (incluso l'opzione plugin WordPress) per bloccare bot che non seguono le tue regole robots.txt.
• Se pubblichi contenuti con licenza o hai bisogno di accesso controllato, integra l'Agent Identification API dal tuo codice per autenticare agenti e imporre controlli di accesso.

Casi d'Uso

• Identifica traffico da riferimenti chat AI e misura performance citazioni: Usa il tracciamento referral LLM per vedere quali pagine sono citate nelle risposte chat AI e quanti umani cliccano attraverso da quelle citazioni.
• Debugga perché un agente non completa un compito: Riproduci una singola sessione agentica per trovare dove si blocca o fallisce nel raggiungere pagine chiave, poi adatta struttura contenuti o routing.
• Rileva comportamenti crawler spoofati e proteggi risorse: Usa la timeline in tempo reale per individuare casi in cui un crawler appare legittimo ma è in realtà spoofato (inclusi esempi con rifiuti HTTP 403).
• Controlla accesso per materiali con licenza: Autentica agenti con l'Agent Identification API (Web Bot Auth) e implementa restrizioni di accesso per categorie agentiche specifiche.
• Monitora commercio agentico e attività endpoint: Usa l'osservabilità MCP e shopping per osservare come gli agenti interagiscono con MCP endpoints e valutare esiti funnel UCP/ACP.

FAQ

Known Agents funziona con WordPress?

Sì. Il sito menziona un plugin WordPress per abilitare rilevamento e blocco di bot che ignorano le regole robots.txt, e nota anche la connettività con WordPress.

Known Agents può aggiornare automaticamente le regole robots.txt?

Sì. Known Agents fornisce Automatic Robots.txt, descritto come aggiornato continuamente e che aggiunge scraper appena scoperti senza richiedere modifiche manuali.

Che tipi di agenti può tracciare Known Agents?

Il sito descrive il tracciamento di crawler, scraper e agenti AI, inclusi riferimenti a piattaforme chat AI (per tracciamento referral LLM) e traffico agentico verso MCP endpoints.

Come aiuta Known Agents con bot maleducati?

Include rilevamento bot cattivi che blocca bot che ignorano le regole robots.txt, e fornisce una vista in tempo reale (timeline) che mostra quando le richieste sono accettate o rifiutate dal tuo server.

C'è un'opzione per autenticare agenti programmaticamente?

Sì. Known Agents menziona un'Agent Identification API usando Web Bot Auth per autenticare agenti dal tuo codice e implementare controlli di accesso per contenuti con licenza.

Alternative

• Analytics web generiche con filtro bot: Gli strumenti focalizzati su analytics del traffico standard possono essere combinati con il filtro bot, ma tipicamente non offrono osservabilità specifica per gli agent (es. session replay per AI agent, tracciamento referral di citazioni LLM o autenticazione agent).
• Piattaforme di sicurezza web e gestione bot: Le soluzioni di gestione bot orientate alla sicurezza possono bloccare o sfidare l'automazione sospetta, ma potrebbero non offrire lo stesso tracciamento specifico per LLM/agent di citazioni, pattern di navigazione o aggiornamenti automatici di robots.txt per categoria di agent.
• Gestione robots.txt + analytics crawler tramite log: Gestire manualmente robots.txt e analizzare i log del server può rivelare l'attività dei crawler, ma richiede maggiore manutenzione manuale e non fornisce le stesse funzionalità strutturate di referral LLM e session replay per agent descritte per Known Agents.
• Controlli solo CDN/WAF: Usare solo regole CDN o WAF può ridurre il traffico indesiderato, ma generalmente non copre le esigenze analitiche specifiche per AI agent (es. tracciamento referral LLM in stile GEO/AEO e osservabilità endpoint MCP).