Raindrop

Raindrop이란?

Raindrop의 Workshop은 AI 에이전트를 위한 로컬 디버거로, 에이전트 동작을 관찰하고 에이전트 eval로 검증하도록 설계되었습니다. 에이전트가 localhost에서 실행되는 동안 토큰과 도구 호출을 포함한 실시간 스트리밍으로 에이전트의 작업을 확인할 수 있어 결정 과정을 실시간으로 볼 수 있습니다.

워크플로우는 Claude Code를 중심으로 합니다: Workshop은 에이전트 실행에서 트레이스를 기록하고, Claude Code는 해당 동작에 대한 평가 테스트를 작성·실행하며—선택적으로 실패 시 코드 변경과 재실행을 반복하는 self-healing 루프에서 단언문이 통과할 때까지 진행합니다.

주요 기능

• localhost에서 실시간 스트리밍 에이전트 트레이스: 에이전트 실행 중 모든 토큰, 도구 호출, 결정을 폴링이나 페이지 새로고침 없이 Workshop으로 스트리밍하여 확인.
• 디버깅을 위한 궤적 + 트레이스 보기: 인터페이스에서 “Overview,” “Span Tree,” “Comms” 등의 트레이스를 보여 에이전트의 추론 과정과 호출된 도구를 검사.
• Claude Code와 통합: Claude Code가 Workshop 트레이스를 읽어 에이전트 eval을 생성하고 평가 결과를 바탕으로 코드를 업데이트.
• 재실행 및 반복 가능한 eval: 테스트 작성, 실행, 검증(예: 후속 질문이나 동작에 대한 단언문)을 지원하며, 수정 후 재실행.
• 일반적인 에이전트/코딩 생태계와 함께 작동: Vercel AI SDK, OpenAI SDK, Anthropic SDK, LangChain, LlamaIndex, CrewAI, Mastra 및 Claude Code CLI, Cursor, OpenCode 등의 도구와 호환.

Raindrop 사용 방법

1. 제공된 스크립트로 Workshop 설치:

   curl -fsSL https://raindrop.sh/install | bash
   

2. 로컬에서 Workshop 시작하고 에이전트를 실행해 로컬 서버(localhost:5899 엔드포인트)에 연결.
3. Workshop 열기로 에이전트 실행 중 트레이스 스트리밍 확인.
4. 트레이스 데이터를 바탕으로 Claude Code로 eval 작성·실행. eval 실패 시 Claude Code가 변경을 가하고 단언문 통과까지 에이전트 재실행(스트리밍 예시 참조).

사용 사례

• 필수 후속 질문을 건너뛰는 에이전트 디버깅: 트레이스 기록 후 후속 질문 단언문을 포함한 eval 실행, Claude Code로 프롬프트나 로직 업데이트하여 eval 통과.
• 여러 세션에서 도구 호출 동작 검증: 트레이스 목록의 여러 “agent sessions” 비교로 일관성 확인.
• 에이전트 프롬프트용 타겟 회귀 검사 생성: “진단으로 바로 넘어가지 않음” 등의 eval 테스트로 프롬프트 변경 시 이전 수정 문제 재발 방지.
• 실행 comms와 span 구조 검사: 실패 전 에이전트 동작과 도구 호출을 “Comms” 및 “Span Tree” 뷰로 검토.
• 다중 프레임워크 에이전트 개발 지원: 페이지에 나열된 SDK/프레임워크(LangChain/LlamaIndex/CrewAI 등)로 에이전트 빌드 시 로컬 디버깅 유지하며 기존 에이전트 스택 사용.

자주 묻는 질문

• Workshop은 Claude Code 전용인가요? 페이지에서 Claude Code 통합 강조: Claude Code가 트레이스를 읽어 eval 작성·실행. Workshop 자체는 로컬 디버거로 위치지음; eval 작성 루프는 Claude Code로 구체화.

• “실시간 스트리밍 트레이스”란? 페이지에서 폴링이나 새로고침 없이 “모든 토큰, 모든 도구 호출, 모든 결정”을 localhost:5899 연결로 Workshop에 스트리밍한다고 설명.

• 어떤 프로그래밍 언어나 프레임워크를 지원하나요? 페이지에서 TypeScript, Python 호환 나열, Rust와 Go 언급, Vercel AI SDK, OpenAI SDK, Anthropic SDK, LangChain, LlamaIndex, CrewAI, Mastra 지원.

• Workshop에서 에이전트 eval은 어떻게 작동하나요? 표시된 예시에서 트레이스로 eval 테스트(단언문) 생성, 테스트 실행, 실패 시 코드 수정 후 단언문 통과까지 에이전트 재실행.

대안

• 에이전트 실행용 로컬 로깅 + 테스트 하네스: 트레이스 뷰어와 통합 eval 루프 대신 도구 호출/토큰 로깅 계측과 에이전트 출력 주변 단위/통합 테스트 자체 구축.
• 기타 AI 에이전트 관찰성 도구: 에이전트 실행 모니터링과 트레이스 시각화 중심 도구; 통합 eval 작성·반복 루프 지원 여부에 따라 차이.
• 프레임워크 내장 디버깅: 특정 스택(LangChain/LlamaIndex 등) 사용 시 내장 트레이싱/로깅에 의존하고 eval 스크립트를 별도 생성, 전용 로컬 디버거 Workshop 대신 사용.