Known Agents

O que é Known Agents?

Known Agents é uma plataforma de analytics e controle de sites para monitorar agentes de IA, assistentes LLM e outros bots que rastreiam seu site. Seu propósito principal é tornar esse “tráfego oculto de bots” visível em tempo real e ajudar a gerenciar como bots e agentes acessam seu conteúdo.

Em vez de tratar todo tráfego automatizado da mesma forma, Known Agents oferece identificação de agentes, linhas do tempo de navegação reproduzíveis e observabilidade para fontes e endpoints de tráfego de agentes específicos — junto com ferramentas para gerar e atualizar continuamente regras de robots.txt e bloquear bots malcomportados.

Principais Recursos

• Analytics de agentes de IA e bots com visibilidade em tempo real: Veja crawlers, scrapers e agentes de IA visitando seu site, incluindo as páginas que eles visam.
• Replay de sessão de agente: Acompanhe a navegação de um agente individual para identificar onde ele trava, onde entra em loop ou onde chega a becos sem saída.
• Rastreamento de referências LLM (GEO/AEO): Rastreie citações e cliques de plataformas de chat de IA (ex.: ChatGPT, Claude, Gemini) para medir quais páginas são referenciadas e quais são visitadas.
• Observabilidade MCP e de compras: Monitore tráfego agentic para endpoints MCP e avalie métricas de desempenho de funil de comércio, como UCP e ACP.
• Proteção automática de robots.txt: Sirva automaticamente um robots.txt que se atualiza continuamente, adicionando regras à medida que novos agentes surgem, sem edições manuais.
• Detecção e bloqueio de bots ruins: Detecte bots que ignoram regras de robots.txt e bloqueie scrapers/ tentativas de automação malcomportados; suporte a plugin WordPress é mencionado.
• API de Identificação de Agentes (Web Bot Auth): Autentique agentes do seu próprio código e implemente controle de acesso para conteúdo licenciado via “Web Bot Auth”.

Como Usar Known Agents

• Conecte Known Agents ao seu site usando uma das opções disponíveis mencionadas no site: WordPress, sua CDN ou a Known Agents API.
• Comece a visualizar atividade de bots e agentes na interface de analytics para identificar os agentes visitando seu site, as páginas que visam e picos de tráfego.
• Ative controles automáticos de robots.txt para que suas regras de robots.txt sejam atualizadas conforme novas categorias de agentes são descobertas.
• Use detecção de bots ruins (incluindo a opção de plugin WordPress) para bloquear bots que não seguem suas regras de robots.txt.
• Se você publica conteúdo licenciado ou precisa de acesso controlado, integre a API de Identificação de Agentes do seu próprio código para autenticar agentes e impor controle de acesso.

Casos de Uso

• Identifique tráfego de referências de chats de IA e meça desempenho de citações: Use rastreamento de referências LLM para ver quais páginas são citadas em respostas de chats de IA e quantos humanos clicam a partir dessas citações.
• Debugue por que um agente não consegue completar uma tarefa: Reproduza uma sessão de agente única para encontrar onde ele trava ou falha em alcançar páginas chave, depois ajuste estrutura de conteúdo ou roteamento.
• Detecte comportamento de crawler falsificado e proteja recursos: Use a linha do tempo em tempo real para detectar casos em que um crawler parece legítimo, mas é na verdade falsificado (incluindo exemplos com rejeições HTTP 403).
• Controle acesso para material licenciado: Autentique agentes com a API de Identificação de Agentes (Web Bot Auth) e implemente restrições de acesso para categorias específicas de agentes.
• Monitore comércio agentic e atividade de endpoints: Use observabilidade MCP e de compras para observar como agentes interagem com endpoints MCP e avaliar resultados de funil UCP/ACP.

FAQ

Known Agents funciona com WordPress?

Sim. O site menciona um plugin WordPress para ativar detecção e bloqueio de bots que ignoram regras de robots.txt, e também nota conectividade com WordPress.

Known Agents pode atualizar regras de robots.txt automaticamente?

Sim. Known Agents oferece Robots.txt Automático, descrito como atualizando continuamente e adicionando scrapers recém-descobertos sem necessidade de edições manuais.

Que tipos de agentes Known Agents pode rastrear?

O site descreve rastreamento de crawlers, scrapers e agentes de IA, incluindo referências a plataformas de chat de IA (para rastreamento de referências LLM) e tráfego agentic para endpoints MCP.

Como Known Agents ajuda com bots malcomportados?

Inclui detecção de bots ruins que bloqueia bots que ignoram regras de robots.txt, e fornece uma visão em tempo real (linha do tempo) mostrando quando requisições são aceitas ou rejeitadas pelo seu servidor.

Há opção para autenticar agentes programaticamente?

Sim. Known Agents menciona uma API de Identificação de Agentes usando Web Bot Auth para autenticar agentes do seu próprio código e implementar controle de acesso para conteúdo licenciado.

Alternativas

• Analytics web de uso geral mais filtragem de bots: Ferramentas focadas em analytics de tráfego padrão podem ser combinadas com filtragem de bots, mas geralmente não oferecem observabilidade específica para agentes (ex.: replay de sessão para agentes de IA, rastreamento de referências de citação de LLM ou autenticação de agente).
• Plataformas de segurança web e gerenciamento de bots: Soluções de gerenciamento de bots focadas em segurança podem ajudar a bloquear ou desafiar automação suspeita, mas podem não oferecer o mesmo rastreamento específico de LLM/agentes de citações, padrões de navegação ou atualizações automáticas de robots.txt por categoria de agente.
• Gerenciamento de robots.txt + analytics de crawlers via logs: Gerenciar robots.txt manualmente e analisar logs do servidor pode revelar atividade de crawlers, mas exige mais manutenção manual e não fornece os mesmos recursos estruturados de referência de LLM e replay de sessão de agente descritos para Known Agents.
• Controles apenas de CDN/WAF: Usar apenas regras de CDN ou WAF pode reduzir tráfego indesejado, mas geralmente não atende às necessidades específicas de analytics para agentes de IA (ex.: rastreamento de referências de LLM no estilo GEO/AEO e observabilidade de endpoints MCP).