Raindrop

Что такое Raindrop?

Workshop by Raindrop — локальный отладчик для AI-агентов, который помогает наблюдать за поведением агента и проверять его с помощью agent evals. Он стримит действия агента в реальном времени, включая токены и вызовы инструментов, чтобы вы видели решения по мере их принятия, пока агент работает на localhost.

Рабочий процесс построен вокруг Claude Code: Workshop записывает трассировки выполнения агента, затем Claude Code может писать и запускать тесты оценки на основе этих поведений — опционально в цикле самовосстановления, где сбои приводят к изменениям кода и повторным запускам до прохождения утверждений.

Ключевые возможности

• Живые стримы трассировок агента на localhost: Видите каждый токен, вызов инструмента и решение по мере работы агента, стримящиеся в Workshop без опросов или обновлений страницы.
• Просмотр траекторий и трассировок для отладки: Интерфейс показывает трассировки вроде «Overview», «Span Tree» и «Comms», помогая изучить, как агент рассуждал и какие инструменты вызывал.
• Интеграция с Claude Code: Claude Code читает трассировки Workshop для генерации agent evals и обновления кода на основе результатов оценки.
• Evals с возможностью повторного запуска и итераций: Workshop поддерживает рабочий процесс eval, где тесты пишутся, запускаются и проверяются (например, утверждения о последующих вопросах или поведении), с повторным выполнением после исправлений.
• Работает с популярными экосистемами агентов/кодирования: Страница указывает совместимость с Vercel AI SDK, OpenAI SDK, Anthropic SDK, LangChain, LlamaIndex, CrewAI, Mastra, а также инструментами вроде Claude Code CLI и редакторами/агентами типа Cursor и OpenCode.

Как использовать Raindrop

1. Установите Workshop с помощью предоставленного скрипта:

   curl -fsSL https://raindrop.sh/install | bash
   

2. Запустите Workshop локально и запустите агента, чтобы он подключился к локальному серверу (страница показывает endpoint localhost:5899).
3. Откройте Workshop, чтобы смотреть, как стримятся трассировки во время работы агента.
4. Используйте Claude Code для написания и запуска evals на основе данных трассировок. При сбое eval Claude Code может внести изменения и перезапустить агента, пока утверждения не пройдут (как показано в стриминговом примере).

Сценарии использования

• Отладка агента, пропускающего обязательные последующие вопросы: Запишите трассировку, запустите eval с утверждением о наличии последующих вопросов, затем используйте Claude Code для обновления промптов или логики, чтобы eval прошёл.
• Проверка поведения вызовов инструментов в нескольких сессиях: Сравните поведение агента в разных запусках (например, множественные «agent sessions» в списке трассировок), чтобы подтвердить консистентность.
• Создание целевых проверок регрессии для промптов агента: Используйте тесты eval (например, проверки «не переходит сразу к диагнозу»), чтобы убедиться, что изменения промптов не вернули ранее исправленные проблемы.
• Анализ коммуникаций выполнения и структуры спанов: Просмотрите виды «Comms» и «Span Tree», чтобы понять, что сделал агент перед сбоем и какие вызовы инструментов произошли.
• Поддержка разработки агентов в нескольких фреймворках: Используйте Workshop при сборке агентов с SDK и фреймворками со страницы (например, LangChain/LlamaIndex/CrewAI), сохраняя отладку локальной при использовании существующего стека агента.

FAQ

• Workshop только для Claude Code? Страница подчёркивает интеграцию с Claude Code: Claude Code читает трассировки и пишет/запускает evals. Сам Workshop позиционируется как локальный отладчик; цикл написания eval описан специально с Claude Code.

• Что значит «live streamed traces»? Страница описывает стрим «каждого токена, каждого вызова инструмента, каждого решения» в Workshop без опросов или обновлений, через локальное соединение localhost:5899.

• Какие языки программирования или фреймворки поддерживаются? Страница указывает совместимость с TypeScript и Python, а также упоминает Rust и Go, вместе с Vercel AI SDK, OpenAI SDK, Anthropic SDK, LangChain, LlamaIndex, CrewAI и Mastra.

• Как работают agent evals в Workshop? В показанном примере трассировки используются для генерации тестов eval (утверждений), тесты запускаются, сбои вызывают исправления кода с повторным запуском агента до прохождения утверждений.

Альтернативы

• Локальное логирование + тестовая обвязка для запусков агента: Вместо просмотрщика трассировок и интегрированного цикла eval можно создать свою инструментацию для логирования вызовов инструментов/токенов и запускать unit/integration-тесты вокруг выходов агента.
• Другие инструменты наблюдаемости для AI-агентов: Альтернативы категории включают инструменты для мониторинга запусков агентов и визуализации трассировок; они могут отличаться поддержкой интегрированного цикла написания eval и итераций.
• Встроенная отладка фреймворков: Если вы используете конкретный стек (например, LangChain/LlamaIndex), можно полагаться на их встроенную трассировку/логирование и создавать скрипты eval отдельно, вместо Workshop как выделенного локального отладчика.