breadcrumb

Что такое breadcrumb?

breadcrumb — это open-source система для трейсинга и анализа активности LLM в ваших AI-агентах. Она фокусируется на захвате полного промпта и ответа для каждого запроса, а также времени выполнения и деталей по токенам/стоимости, чтобы вы могли изучить, что делают вызовы вашей модели.

Проект описан как TypeScript-native и самохостируемый. Он создан, чтобы помогать разработчикам понимать каждый трейс (а не просто хранить телеметрию) и предоставлять end-to-end обзор промптов, ответов, использования токенов и стоимости за трейс.

Ключевые возможности

• Самохостируемый трейсинг для вызовов AI-агентов: разверните на платформах, указанных на сайте (например, Railway, Fly или ваших серверах), чтобы трейсинг работал в вашей инфраструктуре.
• TypeScript-native SDK: разработан для TypeScript-воркфлоу и паттернов инструментации.
• Трейсинг промптов и ответов: каждый трейс-запрос включает отправленный промпт и полный полученный ответ.
• Видимость задержек и стоимости по трейсам: показывает время выполнения вызова и разбивку по токенам и стоимости для каждого трейса.
• Простая настройка без лишних усилий: сайт подчеркивает «три строки кода», без конфиг-файлов, декораторов или длинных гайдов.
• Автоматический трейсинг с Vercel AI SDK: страница указывает, что работает из коробки с вызовами generateText и streamText при добавлении телеметрического хелпера.

Как использовать breadcrumb

1. Установите SDK и инициализируйте один раз в вашем TypeScript-коде.
2. Создайте клиент breadcrumb вызовом init({ apiKey, baseUrl }).
3. Инициализируйте телеметрический хелпер AI SDK с initAiSdk(bc).
4. Передайте телеметрический хелпер в вызовы LLM через опцию experimental_telemetry, как в примере.

После первого вызова generateText (или streamText) трейс появится в приложении breadcrumb (сайт ссылается на демо-трейс).

Пример с сайта (сокращен для основного потока):

import { init } from "@breadcrumb-sdk/core";
import { initAiSdk } from "@breadcrumb-sdk/ai-sdk";

const bc = init({ apiKey, baseUrl });
const { telemetry } = initAiSdk(bc);

const { text } = await generateText({
  // ...
  experimental_telemetry: telemetry("summarize"),
});

Сценарии использования

• Отладка неожиданного поведения модели в агенте: просматривайте точный отправленный промпт и полученный ответ для каждого трейс-запроса, чтобы понять источник изменений в выводе.
• Мониторинг производительности и задержек: используйте данные по времени на вызов (сколько занял каждый запрос), чтобы выявить медленные запросы в цепочке операций.
• Контроль затрат и отслеживание бюджета: проверяйте использование токенов и разбивку стоимости по трейсам, чтобы найти вызовы, потребляющие больше всего токенов, до влияния на счета.
• Наблюдаемость для стриминговых и нестриминговых вызовов: инструментируйте как generateText, так и streamText, чтобы трейсить полный lifecycle запросов агента.
• Командные эксперименты с самохостингом: запускайте трейсинг на Railway, Fly или своих серверах и расширяйте open-source код под ваш воркфлоу.

FAQ

breadcrumb — это просто хранилище или помогает инспектировать трейсы?

breadcrumb описан как инструмент для «изучения ваших трейсов, а не просто хранения», с видимостью промпта, ответа, времени и стоимости за запрос.

Работает ли с Vercel AI SDK?

Да. Страница указывает, что работает из коробки с Vercel AI SDK, автоматически трейся generateText и streamText при передаче телеметрического хелпера.

Нужны ли конфиг-файлы или декораторы для старта трейсинга?

Сайт утверждает, что настройка избегает конфиг-файлов и декораторов и начинается с «трех строк кода».

Можно ли развернуть на своей инфраструктуре?

Да. Страница описывает как самохостируемый и упоминает опции развертывания: Railway, Fly или свои серверы.

Какие данные включает трейс?

Согласно странице, каждый трейс показывает отправленный промпт, полный полученный ответ, время выполнения и разбивку по токенам и стоимости.

Альтернативы

• Open-source инструменты LLM-observability/telemetry: есть другие подходы к логированию промптов, выводов и данных по токенам/стоимости, обычно для отладки и мониторинга. Различия в интеграции с фреймворком (middleware/SDK hooks) и UI для исследования трейсов.
• Общие APM/логирующие стеки (с кастомной инструментацией LLM): можно направлять метаданные LLM-запросов/ответов в системы логирования/метрик, но может потребоваться самостоятельно строить трейсинг и разбивку по токенам/стоимости.
• Облачные платформы трейсинга/аналитики для AI-приложений: хостинг снижает операционную нагрузку, но может жертвовать самохостингом и open-source кастомизацией в зависимости от модели провайдера.
• Другие утилиты для инспекции промптов/ответов: легковесные инструменты для захвата входов/выходов помогают отладке, но могут не предоставлять такую же разбивку по токенам и стоимости за трейс.