Known Agents

Was ist Known Agents?

Known Agents ist eine Website-Analytics- und -Steuerungsplattform zur Überwachung von AI-Agenten, LLM-Assistenten und anderen Bots, die Ihre Site crawlen. Ihr Kernzweck ist es, diesen „versteckten Bot-Traffic“ in Echtzeit sichtbar zu machen und Ihnen zu helfen, den Zugriff von Bots und Agenten auf Ihren Inhalt zu managen.

Statt allen automatisierten Traffic gleich zu behandeln, bietet Known Agents Agenten-Identifikation, wiederholbare Navigations-Timelines und Observability für spezifische Agenten-Traffic-Quellen und -Endpoints – ergänzt durch Tools zur Generierung und kontinuierlichen Aktualisierung von robots.txt-Regeln sowie zum Blockieren von fehlverhaltenden Bots.

Wichtige Funktionen

• AI-Agenten- & Bot-Analytics mit Echtzeit-Sichtbarkeit: Sehen Sie Crawler, Scraper und AI-Agenten, die Ihre Website besuchen, inklusive der gezielten Seiten.
• Agenten-Session-Replay: Folgen Sie der Navigation eines einzelnen Agenten, um zu erkennen, wo er hängen bleibt, wo er loopet oder wo er Sackgassen erreicht.
• LLM-Referral-Tracking (GEO/AEO): Verfolgen Sie Zitationen und Klicks von AI-Chat-Plattformen (z. B. ChatGPT, Claude, Gemini), um zu messen, welche Seiten referenziert und besucht werden.
• MCP- & Shopping-Observability: Überwachen Sie agentischen Traffic zu MCP-Endpunkten und bewerten Sie Commerce-Funnel-Performance-Metriken wie UCP und ACP.
• Automatischer robots.txt-Schutz: Servieren Sie automatisch eine robots.txt, die kontinuierlich aktualisiert wird und Regeln für neue Agenten hinzufügt – ohne manuelle Bearbeitung.
• Erkennung und Blockierung schlechter Bots: Erkennen Sie Bots, die robots.txt-Regeln ignorieren, und blockieren Sie fehlverhaltende Scraper/Automatisierungsversuche; WordPress-Plugin-Unterstützung verfügbar.
• Agenten-Identifikations-API (Web Bot Auth): Authentifizieren Sie Agenten aus Ihrem eigenen Code und implementieren Sie Zugriffssteuerung für lizenzierten Inhalt via „Web Bot Auth“.

So nutzen Sie Known Agents

• Verbinden Sie Known Agents mit Ihrer Site über eine der auf der Website genannten Optionen: WordPress, Ihre CDN oder die Known Agents API.
• Starten Sie mit der Ansicht von Bot- und Agenten-Aktivität in der Analytics-Oberfläche, um die besuchenden Agenten, gezielten Seiten und Traffic-Spitzen zu identifizieren.
• Aktivieren Sie automatische robots.txt-Steuerung, damit Ihre Regeln bei neuen Agenten-Kategorien aktualisiert werden.
• Nutzen Sie Bad-Bot-Erkennung (inkl. WordPress-Plugin-Option), um Bots zu blockieren, die Ihre robots.txt-Regeln nicht befolgen.
• Bei lizenziertem Inhalt oder gesteuertem Zugriff: Integrieren Sie die Agenten-Identifikations-API aus Ihrem Code, um Agenten zu authentifizieren und Zugriffssteuerung durchzusetzen.

Anwendungsfälle

• Traffic aus AI-Chat-Referenzen identifizieren und Zitations-Performance messen: Nutzen Sie LLM-Referral-Tracking, um zu sehen, welche Seiten in AI-Chat-Antworten zitiert werden und wie viele Menschen darauf klicken.
• Debuggen, warum ein Agent eine Aufgabe nicht abschließt: Replays einer einzelnen Agenten-Session, um zu finden, wo er hängen bleibt oder Schlüssel-Seiten nicht erreicht, dann Inhaltsstruktur oder Routing anpassen.
• Gefälschtes Crawler-Verhalten erkennen und Ressourcen schützen: Nutzen Sie die Echtzeit-Timeline, um Fälle zu detektieren, in denen ein Crawler legitim wirkt, aber gefälscht ist (inkl. HTTP-403-Ablehnungen).
• Zugriff auf lizenziertes Material steuern: Authentifizieren Sie Agenten mit der Agenten-Identifikations-API (Web Bot Auth) und setzen Sie Zugriffsbeschränkungen für spezifische Agenten-Kategorien um.
• Agentischen Commerce und Endpoint-Aktivität überwachen: Nutzen Sie MCP- & Shopping-Observability, um zu beobachten, wie Agenten mit MCP-Endpunkten interagieren und UCP/ACP-Funnel-Ergebnisse zu bewerten.

FAQ

Funktioniert Known Agents mit WordPress?

Ja. Die Website erwähnt ein WordPress-Plugin zur Aktivierung von Erkennung und Blockierung von Bots, die robots.txt-Regeln ignorieren, und auch die Konnektivität mit WordPress.

Kann Known Agents robots.txt-Regeln automatisch aktualisieren?

Ja. Known Agents bietet Automatic Robots.txt, die kontinuierlich aktualisiert und neu entdeckte Scraper hinzufügt – ohne manuelle Bearbeitung.

Welche Agenten kann Known Agents tracken?

Die Site beschreibt das Tracking von Crawlern, Scrapern und AI-Agenten, inkl. Referenzen zu AI-Chat-Plattformen (für LLM-Referral-Tracking) und agentischem Traffic zu MCP-Endpunkten.

Wie hilft Known Agents bei fehlverhaltenden Bots?

Es umfasst Bad-Bot-Erkennung, die Bots blockiert, die robots.txt-Regeln ignorieren, und bietet eine Echtzeit-Ansicht (Timeline), die zeigt, wann Anfragen von Ihrem Server akzeptiert oder abgelehnt werden.

Gibt es eine Option, Agenten programmgesteuert zu authentifizieren?

Ja. Known Agents erwähnt eine Agenten-Identifikations-API mit Web Bot Auth, um Agenten aus Ihrem eigenen Code zu authentifizieren und Zugriffssteuerung für lizenzierten Inhalt umzusetzen.

Alternativen

• Allgemeine Web-Analytics plus Bot-Filterung: Tools, die sich auf Standard-Traffic-Analytics konzentrieren, können mit Bot-Filterung kombiniert werden, bieten aber typischerweise keine agentenspezifische Beobachtbarkeit (z. B. Session-Replay für AI-Agents, LLM-Zitierungs-Referral-Tracking oder Agent-Authentifizierung).
• Web-Sicherheits- und Bot-Management-Plattformen: Sicherheitsorientierte Bot-Management-Lösungen können verdächtige Automatisierung blockieren oder herausfordern, bieten aber möglicherweise nicht dasselbe LLM-/agentenspezifische Tracking von Zitierungen, Navigationsmustern oder robots.txt-Auto-Updates nach Agent-Kategorie.
• Robots.txt-Verwaltung + Crawler-Analytics über Logs: Manuelle robots.txt-Verwaltung und Analyse von Server-Logs können Crawler-Aktivität aufdecken, erfordern aber mehr manuellen Aufwand und bieten nicht die gleichen strukturierten LLM-Referral- und Agent-Session-Replay-Funktionen wie bei Known Agents beschrieben.
• Nur CDN-/WAF-Steuerungen: Nur CDN- oder WAF-Regeln können unerwünschten Traffic reduzieren, decken aber in der Regel nicht die spezifischen Analytics-Anforderungen für AI-Agents ab (z. B. GEO/AEO-ähnliches LLM-Referral-Tracking und MCP-Endpoint-Beobachtbarkeit).