Known Agents

Known Agents란?

Known Agents는 사이트를 크롤링하는 AI 에이전트, LLM 어시스턴트, 기타 봇을 모니터링하는 웹사이트 분석 및 제어 플랫폼입니다. 핵심 목적은 이 “숨겨진 봇 트래픽”을 실시간으로 가시화하고 봇과 에이전트의 콘텐츠 접근 방식을 관리할 수 있게 하는 것입니다.

모든 자동화 트래픽을 동일하게 취급하는 대신, Known Agents는 에이전트 식별, 재생 가능한 탐색 타임라인, 특정 에이전트 트래픽 소스 및 엔드포인트의 관찰 가능성을 제공합니다—또한 robots.txt 규칙을 생성하고 지속적으로 업데이트하며, 문제 있는 봇을 차단하는 도구도 함께 제공합니다.

주요 기능

실시간 가시성을 갖춘 AI 에이전트 & 봇 분석: 사이트를 방문하는 크롤러, 스크레이퍼, AI 에이전트를 확인하세요. 타겟팅하는 페이지까지 포함됩니다.
에이전트 세션 재생: 개별 에이전트의 탐색 경로를 따라가며 멈추는 지점, 반복되는 지점, 막다른 골목에 도달하는 지점을 식별하세요.
LLM 리퍼러 추적 (GEO/AEO): AI 채팅 플랫폼(예: ChatGPT, Claude, Gemini)에서 발생하는 인용 및 클릭 유입을 추적하여 어떤 페이지가 참조되고 방문되는지 측정하세요.
MCP & 쇼핑 관찰 가능성: MCP 엔드포인트로의 에이전트 트래픽을 모니터링하고 UCP, ACP 등의 커머스 퍼널 성과 지표를 평가하세요.
자동 robots.txt 보호: 새로운 에이전트가 등장할 때마다 규칙을 추가하며 지속적으로 업데이트되는 robots.txt를 자동으로 제공합니다. 수동 편집 불필요.
나쁜 봇 탐지 및 차단: robots.txt 규칙을 무시하는 봇을 탐지하고 문제 스크레이퍼/자동화 시도를 차단합니다. WordPress 플러그인 지원 언급.
에이전트 식별 API (Web Bot Auth): 자체 코드에서 에이전트를 인증하고 “Web Bot Auth”를 통해 라이선스 콘텐츠에 대한 액세스 제어를 구현하세요.

Known Agents 사용 방법

웹사이트에 언급된 사용 가능한 옵션 중 하나로 Known Agents를 사이트에 연결하세요: WordPress, CDN, 또는 Known Agents API.
분석 인터페이스에서 봇 및 에이전트 활동을 시작해서 확인하세요. 사이트를 방문하는 에이전트, 타겟팅 페이지, 트래픽 급증 등을 식별합니다.
새로운 에이전트 카테고리가 발견될 때 robots.txt 규칙이 업데이트되도록 자동 robots.txt 제어를 활성화하세요.
robots.txt 규칙을 따르지 않는 봇을 차단하기 위해 나쁜 봇 탐지를 사용하세요(WordPress 플러그인 옵션 포함).
라이선스 콘텐츠를 게시하거나 제어된 액세스가 필요하다면, 자체 코드에서 에이전트 식별 API를 통합하여 에이전트를 인증하고 액세스 제어를 적용하세요.

사용 사례

AI 채팅 참조 트래픽 식별 및 인용 성과 측정: LLM 리퍼러 추적을 통해 AI 채팅 응답에서 인용된 페이지와 그 인용에서 클릭 유입하는 인간 수를 확인하세요.
에이전트가 작업을 완료하지 못하는 이유 디버깅: 단일 에이전트 세션을 재생하여 멈추거나 핵심 페이지에 도달하지 못하는 지점을 찾고, 콘텐츠 구조나 라우팅을 조정하세요.
위장된 크롤러 동작 탐지 및 리소스 보호: 실시간 타임라인을 통해 합법적으로 보이지만 실제로는 위장된 크롤러 사례를 탐지하세요(HTTP 403 거부 예시 포함).
라이선스 자료 액세스 제어: 에이전트 식별 API(Web Bot Auth)로 에이전트를 인증하고 특정 에이전트 카테고리에 대한 액세스 제한을 구현하세요.
에이전트 커머스 및 엔드포인트 활동 모니터링: MCP & 쇼핑 관찰 가능성을 통해 에이전트가 MCP 엔드포인트와 상호작용하는 방식과 UCP/ACP 퍼널 결과를 평가하세요.

자주 묻는 질문

Known Agents가 WordPress와 함께 작동하나요?

네. 웹사이트에서 robots.txt 규칙을 무시하는 봇 탐지 및 차단을 활성화하는 WordPress 플러그인을 언급하며, WordPress와의 연결성도 명시합니다.

Known Agents가 robots.txt 규칙을 자동 업데이트하나요?

네. Known Agents는 자동 Robots.txt를 제공하며, 새로 발견된 스크레이퍼를 추가하며 지속적으로 업데이트되어 수동 편집이 필요 없습니다.

Known Agents가 어떤 종류의 에이전트를 추적하나요?

사이트에서 크롤러, 스크레이퍼, AI 에이전트 추적을 설명하며, AI 채팅 플랫폼(LLM 리퍼러 추적용)과 MCP 엔드포인트로의 에이전트 트래픽을 참조합니다.

Known Agents가 문제 봇을 어떻게 도와주나요?

robots.txt 규칙을 무시하는 봇을 차단하는 나쁜 봇 탐지를 포함하며, 서버에서 요청이 수락되거나 거부되는 시점을 보여주는 실시간 뷰(타임라인)를 제공합니다.

에이전트를 프로그래밍 방식으로 인증할 수 있나요?

네. Known Agents는 Web Bot Auth를 사용하는 에이전트 식별 API를 언급하며, 자체 코드에서 에이전트를 인증하고 라이선스 콘텐츠에 대한 액세스 제어를 구현할 수 있습니다.

대안

범용 웹 분석 + 봇 필터링: 표준 트래픽 분석에 중점을 둔 도구를 봇 필터링과 결합할 수 있지만, 일반적으로 에이전트별 관찰 가능성(예: AI 에이전트용 세션 재생, LLM 인용 리퍼러 추적, 에이전트 인증)을 제공하지 않습니다.
웹 보안 및 봇 관리 플랫폼: 보안 중심의 봇 관리 솔루션은 의심스러운 자동화를 차단하거나 도전할 수 있지만, 인용, 탐색 패턴 추적, 에이전트 카테고리별 robots.txt 자동 업데이트와 같은 LLM/에이전트별 추적을 동일하게 제공하지 않을 수 있습니다.
Robots.txt 관리 + 로그를 통한 크롤러 분석: robots.txt를 수동으로 관리하고 서버 로그를 분석하면 크롤러 활동을 파악할 수 있지만, 더 많은 수동 관리가 필요하며 Known Agents에 설명된 구조화된 LLM 리퍼러 및 에이전트 세션 재생 기능을 제공하지 않습니다.
CDN/WAF 전용 제어: CDN 또는 WAF 규칙만 사용하면 원치 않는 트래픽을 줄일 수 있지만, 일반적으로 AI 에이전트에 대한 특정 분석 요구사항(예: GEO/AEO 스타일 LLM 리퍼러 추적 및 MCP 엔드포인트 관찰 가능성)을 다루지 않습니다.