DeltaMemory란 무엇인가요?

DeltaMemory는 프로덕션 등급 AI 에이전트의 필수적인 인지 메모리 계층 역할을 하며, 에이전트의 망각 문제를 해결합니다. 기존 AI 에이전트는 장기간에 걸쳐 맥락을 유지하거나 과거 상호 작용을 정확하게 회상하는 데 어려움을 겪어 반복적인 대화와 성능 저하를 초래합니다. DeltaMemory는 지속적이고 구조화된 회상 기능을 제공하여 이러한 문제를 해결하고, 에이전트가 과거 지식을 동적으로 기반으로 구축할 수 있도록 지원합니다. 이는 인프라 계층으로서 모든 상호 작용이 성장하고 접근 가능한 지식 기반에 기여하도록 보장하여 실제 애플리케이션에서 에이전트의 정확성과 효율성을 크게 향상시킵니다.

이 플랫폼은 성능과 확장을 위해 설계되었으며, 검색 속도와 비용 절감 측면에서 업계 최고 수준의 벤치마크를 자랑합니다. 원시 대화 로그에서 구조화된 사실을 자동으로 추출하고 지식 그래프를 구축함으로써 DeltaMemory는 최대 3,714배에 달하는 엄청난 토큰 압축을 달성합니다. 이는 에이전트가 전체 기록을 재처리하는 계산 오버헤드 없이 중요한 내용만 회상할 수 있음을 의미합니다. 그 결과, 검색 속도는 2배 빨라지고, 원시 토큰 재처리에 비해 비용은 97% 절감되며, LoCoMo와 같은 장기 대화 벤치마크에서 우수한 성능을 보입니다.

주요 기능

• 지속적인 회상 및 맥락적 지능: 에이전트는 세션 전반에 걸쳐 장기 기억을 유지하여 시간이 지남에 따라 축적되는 개인화되고 맥락을 고려한 상호 작용을 가능하게 합니다.
• 자동 사실 추출 및 지식 그래프: 원시 대화 데이터는 자동으로 구조화된 사실 및 상호 연결된 지식 그래프로 변환되어 효율적인 의미론적 검색을 가능하게 합니다.
• 극단적인 토큰 압축: 데이터를 구조화하여 최대 3,714배의 압축률을 달성하며, 회상에 필요한 컨텍스트 창 크기를 획기적으로 줄여 상당한 비용 절감(97% 감소)으로 이어집니다.
• 고성능 및 낮은 지연 시간: Rust 기반 엔진으로 구동되어 50ms의 p50 쿼리 지연 시간을 제공하며, 프로덕션 시스템에 실시간 응답성을 보장합니다.
• 프레임워크 네이티브 통합: Vercel AI SDK, LangChain, CrewAI, n8n을 포함한 인기 있는 에이전트 프레임워크에 대한 최고 수준의 SDK 지원을 제공하여 신속한 통합을 가능하게 합니다.
• 내장된 관찰 가능성 및 추적성: 모든 메모리 작업은 완전히 추적되어 추출된 사실, 회상된 기억, 중요도 점수에 대한 가시성을 제공하므로 강력한 디버깅 및 감사가 가능합니다.
• 엔터프라이즈 준비: SOC 2 규정 준수 준비, HIPAA 준비, 감사 등급 보안 및 99.9% 가동 시간 SLA를 통해 프로덕션 환경을 위해 설계되었습니다.
• 유연한 배포: 관리형 클라우드 서비스 또는 자체 VPC 내 온프레미스 배포를 모두 지원하여 데이터 주권 및 통제를 보장합니다.

DeltaMemory 사용 방법

기존 AI 에이전트 스택에 DeltaMemory를 통합하는 것은 최소한의 엔지니어링 노력으로 빠르고 간단하게 설계되었습니다.

1. SDK 설치: 애플리케이션 환경에 DeltaMemory SDK를 설치하는 것부터 시작합니다.
2. 연결 초기화: DeltaMemory 클라이언트를 인스턴스화하고 DeltaMemory 인스턴스(예: 호스트 주소 지정)에 연결합니다.
3. 데이터 수집: 고유한 사용자 식별자와 새로운 메시지 또는 데이터 포인트를 전달하여 ingest 메서드를 사용합니다. DeltaMemory는 백그라운드에서 처리, 사실 추출 및 압축을 자동으로 처리합니다.
4. 정보 회상: 에이전트가 맥락이 필요할 때 사용자 ID와 함께 recall 메서드를 사용합니다. 시스템은 가장 관련성이 높은 압축된 기억과 구조화된 사실을 즉시 검색합니다.
5. 프레임워크 통합: 기존 에이전트 워크플로(예: LangChain 체인)의 경우, 기존 메모리 구성 슬롯에 DeltaMemory 커넥터를 삽입하기만 하면 되며, 종종 이전의 덜 효율적인 메모리 솔루션을 교체하기 위해 몇 줄의 코드만 필요합니다.

사용 사례

DeltaMemory는 AI 에이전트가 사용자와 반복적으로 상호 작용하거나 데이터를 사용하는 모든 시나리오에서 지능을 축적합니다.

• 의료 (의료 AI 비서): 의료 AI 비서는 환자 이력, 약물 상호 작용 및 명시된 선호 사항에 대한 지속적이고 규정을 준수하는 기록을 여러 세션에 걸쳐 유지할 수 있습니다. 예를 들어, 치료 챗봇은 세션 전에 언급된 특정 불안 유발 요인을 회상하여 환자가 민감한 정보를 반복할 필요가 없게 합니다.
• 교육 (개인 맞춤형 튜터): AI 튜터는 개별 학생의 축적된 이해도를 활용합니다. 시스템은 학습 진행 상황을 추적하고, 지속적인 지식 격차(예: 이차 방정식에 대한 어려움)를 식별하며, 후속 수업에서 교육 스타일과 난이도를 자동으로 조정합니다.
• 전자상거래 (초개인화 쇼핑): 쇼핑 도우미는 모든 상호 작용에서 심층적인 선호도 프로필을 구축합니다. 고객이 지속 가능한 브랜드와 사이즈 M을 선호한다고 한 번 언급하면, 에이전트는 이를 기억하여 향후 모든 추천이 반복적인 프롬프트 없이 관련성을 갖도록 보장합니다.
• 고객 지원 (맥락 인식 에이전트): 지원 에이전트는 모든 고객 상호 작용의 전체 기록(과거 티켓, 선호 사항, 이전 해결 경로 포함)에 즉시 액세스할 수 있습니다. 이 맥락은 에스컬레이션 시 함께 전달되므로 고객이 문제를 재진술할 필요 없이 첫 연락 시 해결이 가능합니다.
• 영업 인텔리전스: 영업 AI는 이메일, 채팅 등 다양한 접점에서 잠재 고객 상호 작용, 이의 제기 및 구매 신호를 추적합니다. 모든 후속 조치는 이전 논의를 기반으로 예산 관련 후속 조치 시기를 완벽하게 파악할 수 있도록 전체 관계 기록에 의해 정보를 제공받습니다.

FAQ

Q: DeltaMemory는 어떻게 그렇게 높은 토큰 압축률을 달성하나요? A: 저희는 단순한 벡터 임베딩을 넘어섭니다. DeltaMemory는 원시 대화 로그를 분석하여 구조화된 사실을 자동으로 추출하고 의미론적 지식 그래프를 구축합니다. 이 구조화된 표현은 원시 텍스트나 밀집된 임베딩을 저장하는 것보다 훨씬 효율적이어서, 수백만 개의 토큰을 몇 천 개의 관련 데이터 포인트로 압축할 수 있습니다.

Q: DeltaMemory는 현재 사용 중인 LLM 또는 프레임워크와 호환되나요? A: 예. DeltaMemory는 본질적으로 프레임워크에 구애받지 않지만, LangChain, CrewAI, Vercel AI SDK와 같은 인기 있는 도구에 대한 최고 수준의 네이티브 통합을 제공합니다. 전용 메모리 계층으로 작동하므로 사실상 모든 LLM 제공업체와 통합될 수 있습니다.

Q: 엔터프라이즈 사용을 위해 DeltaMemory는 어떤 보안 및 규정 준수 표준을 충족하나요? A: DeltaMemory는 엔터프라이즈 요구 사항을 염두에 두고 구축되었으며, 아키텍처에 SOC 2 규정 준수 준비 및 HIPAA 준비 기능이 내장되어 있습니다. 메모리 그래프에 대한 암호화된 소유권과 세분화된 동의 제어 기능을 제공하여 클라우드 또는 온프레미스 배포 시 데이터 보안을 보장합니다.

Q: DeltaMemory와 표준 벡터 데이터베이스의 차이점은 무엇인가요? A: 표준 벡터 데이터베이스는 주로 원시 텍스트의 임베딩을 저장하며, 전체 컨텍스트를 다시 임베딩하고 검색해야 합니다. DeltaMemory는 의미를 구조화된 사실 및 그래프로 추출하여, 재처리가 최소화되므로 운영 비용이 크게 절감되고(LoCoMo 벤치마크로 검증됨) 검색이 더 빠르고 정밀해집니다.

Q: DeltaMemory를 자체 사설 클라우드 또는 VPC 내에 배포할 수 있나요? A: 물론입니다. DeltaMemory는 완전한 배포 유연성을 제공합니다. 관리형 클라우드 서비스를 이용하거나, 데이터 상주 및 보안 태세에 대한 완전한 제어를 유지하기 위해 자체 가상 사설 클라우드(VPC) 내에 DeltaMemory를 온프레미스로 배포할 수 있습니다.