ElevenLabs Guardrails 2.0

ElevenLabs Guardrails 2.0이란?

ElevenLabs Guardrails 2.0은 응답이 최종 사용자에게 도달하기 전에 구성 가능한 안전 및 행동 보호가 필요한 음성 AI 에이전트를 위한 ElevenAgents의 재설계된 제어 레이어입니다. 에이전트를 브랜드에 맞게, 주제에 맞게 유지하고 엔터프라이즈 규모에서 규정을 준수하도록 돕기 위해 올바른 출력으로 안내하고 위험하거나 정책 위반 응답을 방지하도록 설계되었습니다.

AI 에이전트는 비결정적이며 긴 대화 중에 표류하거나 적대적 입력에 의해 밀려날 수 있으므로, Guardrails 2.0은 계층화된 방어를 사용합니다. 시스템 프롬프트 강화와 사용자 입력 및 에이전트 응답에 대한 실시간 검사를 결합하며, 위반 처리 옵션도 제공합니다.

주요 기능

시스템 프롬프트 강화 (Focus Guardrail): 시스템 프롬프트에서 허용/불허 행동을 정의하고 대화 전반에 걸쳐 지시를 강화하여 목표 이탈을 줄입니다.
사용자 입력 검증 (Manipulation Guardrails): 사용자 메시지에서 프롬프트 인젝션 및 지시 무시 시도를 감지; 보안 위험이 감지되면 대화를 종료할 수 있습니다.
에이전트 응답 검증 (Policy enforcement): 구성된 정책에 대해 모든 에이전트 응답을 실시간으로 평가하고 사용자에게 전달 전에 규칙 위반 응답을 차단할 수 있습니다.
미리 구축 및 사용자 지정 가드레일: 일반 위험 영역에 대한 미리 구축 보호와 팀이 자연어로 도메인별 정책을 정의하는 Custom Guardrails를 포함합니다.
구성 가능한 집행 동작: 지연과 엄격함을 조정하는 execution modes, exit strategies (종료, 전환, 인간에게 에스컬레이션, 수정 지시로 재시도), 카테고리별 content sensitivity levels를 지원합니다.
운영 가시성 및 거버넌스 지원: 대화 분석에 모든 가드레일 트리거를 로그(어떤 가드레일이 발동되었고 어떤 조치가 취해졌는지)하며, 통화 종료 후 녹취록, 녹음, 웹훅 페이로드에서 민감 정보 삭제를 할 수 있습니다.

ElevenLabs Guardrails 2.0 사용 방법

시스템 프롬프트에서 기본 행동 정의 음성 에이전트가 따라야 할 허용/불허 지시를 사용합니다.
계층화된 가드레일 활성화 두 실시간 체크포인트에 대해: 조작 시도에 대한 사용자 입력 검증과 정책에 대한 에이전트 출력 검증.
Custom Guardrails 추가 애플리케이션의 특정 위험 및 규정 준수 요구사항에 맞는 자연어 도메인별 규칙 작성.
집행 구성 선택: 응답 지연과 엄격함 균형을 위한 가드레일 실행 모드 설정, 트리거 위반에 대한 종료 전략 구성, 과도 차단 방지를 위한 콘텐츠 민감도 수준 조정.
로그 트리거 검토 및 정책 개선 대화 분석 사용; 선택적으로 저장된 출력에서 민감 콘텐츠를 제거하는 대화 기록 삭제 활성화.

사용 사례

고객 지원 음성 에이전트: 긴 왕복 통화 중 응답을 주제에 맞게 유지하고 내부 정책에 맞추며, 구성된 규칙 위반 응답을 차단.
영업 및 리드 자격 검증: 시스템 프롬프트에서 일관된 목표 지향 행동 강화와 실시간 응답 검증으로 메시지 이탈 지침 방지.
내부 워크플로 지원: 프롬프트 인젝션 및 지시 무시 시도를 중지하여 에이전트가 작업에서 벗어나는 것을 방지하는 고영향 내부 상호작용 보호.
규정 준수 민감 콘텐츠 처리: 조정 가능한 임계값으로 잠재적 민감 또는 위험 콘텐츠 카테고리를 스크리닝하는 Content Guardrails 사용.
도메인별 정책 집행: 자연어로 비즈니스 또는 규제 제약을 인코딩한 Custom Guardrails 생성 및 통화 전반에 자동 집행.

자주 묻는 질문

Guardrails 2.0은 시스템 프롬프트에만 의존하나요?
아니요. 시스템 프롬프트 강화(Focus Guardrail 포함)가 기반이지만, Guardrails 2.0은 사용자 입력 조작 및 에이전트 응답 정책 위반에 대한 독립적인 실시간 검사를 추가합니다.

가드레일이 트리거되면 어떻게 되나요?
Guardrails 2.0은 대화 종료, 다른 에이전트로 전환, 인간에게 에스컬레이션, 수정 지시로 재시도 등 구성된 작업을 수행할 수 있습니다.

가드레일이 음성 지연에 영향을 미치나요?
네. 이 기능은 속도와 엄격함 간의 트레이드오프를 선택할 수 있는 실행 모드를 포함합니다. 한 모드는 응답과 동시에 가드레일을 실행(오디오가 0.1초 정도 재생될 수 있음)하며, 다른 모드는 완전 클리어될 때까지 응답을 보류합니다.

정책 위반은 어떻게 추적되나요?
모든 트리거는 대화 분석에 로그로 기록되며, 어떤 가드레일이 발동되었고 어떤 작업이 수행되었는지 포함되어 팀이 프롬프트와 가드레일을 지속적으로 개선할 수 있습니다.

통화 후 민감 데이터는 제거할 수 있나요?
네. 통화 종료 후 Guardrails 2.0은 트랜스크립트, 녹음, 웹훅 페이로드에서 민감 정보를 자동으로 삭제하며, 분석, QA, 훈련에 필요한 데이터는 유지합니다.

대안

수동 조정 및 사후 검토: 실시간으로 응답을 차단하거나 리디렉션하는 대신 통화 후 트랜스크립트를 분석합니다. 이는 사용자에게 위험 콘텐츠가 도달할 위험을 높이고 피드백 루프를 늦춥니다.
단일 레이어 프롬프트 전용 제어: 강화된 시스템 프롬프트에만 의존하면 복잡도가 줄지만, 다층 검증만큼 비결정성 및 적대적 사용자 입력을 효과적으로 처리하지 못합니다.
애플리케이션 측 콘텐츠 필터링: 호출 애플리케이션의 입력/출력 스트림에 필터를 구현합니다. 유사한 안전 목표를 달성할 수 있지만, 평가 로직과 로깅을 직접 구축·유지해야 합니다.
정책 오케스트레이션 없는 범용 안전 분류기: 독립 moderation 모델로 콘텐츠 탐지 시 위험 콘텐츠 스크리닝에 도움이 되지만, 입력 검증, 응답 차단, 종료 전략, 분석 로깅의 통합 접근을 제공하지 않을 수 있습니다.