breadcrumb

Was ist breadcrumb?

breadcrumb ist ein Open-Source-System zum Tracen und Inspizieren von LLM-Aktivitäten in Ihren AI Agents. Es konzentriert sich darauf, den vollständigen Prompt und die Completion für jede Anfrage zu erfassen, zusammen mit Timing- und Token-/Kosten-Details, damit Sie erkunden können, was Ihre Model-Aufrufe tun.

Das Projekt wird als TypeScript-nativ und self-hostable beschrieben. Es ist gebaut, um Entwicklern zu helfen, jede Trace zu verstehen (nicht nur Telemetrie zu speichern) und einen End-to-End-Überblick über Prompts, Responses, Token-Verbrauch und Kosten pro getraceter Anfrage zu bieten.

Wichtige Features

• Self-hostable Tracing für AI-Agent-Aufrufe: Deployen Sie es auf Plattformen, die auf der Site erwähnt werden (z. B. Railway, Fly oder eigenen Servern), damit das Tracing in Ihrer Infrastruktur läuft.
• TypeScript-nativer SDK: Entwickelt für TypeScript-Workflows und Instrumentation-Muster.
• Trace von Prompts und Completions: Jede getracete Anfrage enthält den tatsächlichen gesendeten Prompt und die vollständige zurückgekommene Response.
• Latenz- und Kosten-Sichtbarkeit pro Trace: Zeigt an, wie lange ein Aufruf dauerte, und liefert eine pro-Trace-Aufschlüsselung von Token-Verbrauch und Kosten.
• Low-Friction-Setup: Die Site hebt „drei Zeilen Code“ hervor, ohne Config-Dateien, Decoratoren oder langen Setup-Guides.
• Automatisches Tracing mit dem Vercel AI SDK: Die Seite gibt an, dass es out-of-the-box mit generateText- und streamText-Aufrufen funktioniert, indem der Telemetry-Helper hinzugefügt wird.

So verwenden Sie breadcrumb

1. Installieren Sie den SDK und initialisieren Sie einmal in Ihrem TypeScript-Code.
2. Erstellen Sie einen breadcrumb-Client durch Aufruf von init({ apiKey, baseUrl }).
3. Initialisieren Sie den AI SDK Telemetry-Helper mit initAiSdk(bc).
4. Übergaben Sie den Telemetry-Helper in Ihre LLM-Aufrufe über die experimental_telemetry-Option wie im Beispiel gezeigt.

Nach dem Ausführen Ihres ersten generateText- (oder streamText- ) Aufrufs sollte die Trace in der breadcrumb-App erscheinen (die Site verweist auf eine Demo-Trace-Erfahrung).

Beispiel von der Site (abgekürzt für den Kernflow):

import { init } from "@breadcrumb-sdk/core";
import { initAiSdk } from "@breadcrumb-sdk/ai-sdk";

const bc = init({ apiKey, baseUrl });
const { telemetry } = initAiSdk(bc);

const { text } = await generateText({
  // ...
  experimental_telemetry: telemetry("summarize"),
});

Anwendungsfälle

• Debugging unerwarteten Model-Verhaltens in einem Agent: Überprüfen Sie den exakten gesendeten Prompt und die zurückgekommene Completion für jede getracete Anfrage, um zu verstehen, wo Output-Änderungen herkommen.
• Performance- und Latenz-Überwachung: Nutzen Sie die pro-Aufruf-Timing-Infos (wie lange jede Anfrage dauerte), um langsamere Requests in einer Operationenkette zu identifizieren.
• Kostensteuerung und Budget-Tracking: Prüfen Sie Token-Verbrauch und Kosten-Aufschlüsselungen pro Trace, um zu finden, welche Aufrufe die meisten Tokens verbrauchen, bevor sie Rechnungen beeinflussen.
• Observability für Streaming vs. Non-Streaming-Aufrufe: Instrumentieren Sie sowohl generateText als auch streamText, um den vollen Lifecycle von Agent-Requests zu tracen.
• Team-basiertes Experimentieren mit Self-Hosting: Führen Sie Tracing auf Railway, Fly oder eigenen Servern durch und erweitern Sie den Open-Source-Codebase bei Bedarf für Ihren Workflow.

FAQ

Ist breadcrumb nur ein Speicher-Tool, oder hilft es beim Inspizieren von Traces?

breadcrumb wird als gebaut beschrieben, um „Ihre Traces zu erkunden, nicht nur zu speichern“, mit Sichtbarkeit auf Prompt, Completion, Timing und Kosten pro Anfrage.

Funktioniert es mit dem Vercel AI SDK?

Ja. Die Seite gibt an, dass es out-of-the-box mit dem Vercel AI SDK funktioniert und generateText- sowie streamText-Aufrufe automatisch traced, wenn der Telemetry-Helper übergeben wird.

Brauche ich Config-Dateien oder Decoratoren zum Starten des Tracings?

Die Site behauptet, das Setup vermeidet Config-Dateien und Decoratoren und ist für „drei Zeilen Code“ gedacht.

Kann ich es auf meiner eigenen Infrastruktur deployen?

Ja. Die Seite beschreibt es als self-hostable und nennt Deploy-Optionen wie Railway, Fly oder eigene Server.

Welche Daten enthält eine Trace?

Laut Seite zeigt jede Trace den gesendeten Prompt, die vollständige zurückgekommene Response, die Dauer und eine Aufschlüsselung von Token-Verbrauch und Kosten.

Alternativen

• Open-Source LLM-Observability/Telemetry-Tools: Es gibt andere Ansätze zum Loggen von Prompts, Outputs und Token-/Kosten-Daten, typischerweise für Debugging und Monitoring. Unterschiede liegen oft in der Integration mit Ihrem Framework (Middleware/SDK-Hooks) und wie die UI Traces erkundet.
• Allgemeine APM/Logging-Stacks (mit custom LLM-Instrumentation): Sie können LLM-Request/Response-Metadaten in Logging-/Metrics-Systeme routen, müssen aber Tracing und Kosten-/Token-Aufschlüsselung selbst bauen.
• Cloud-basierte Tracing/Analytics für AI-Apps: Gehostete Plattformen reduzieren Betriebsaufwand, handeln aber Self-Hosting und Open-Source-Anpassung gegen den Provider-Modell ein.
• Andere Prompt/Response-Inspektionstools: Leichte Tools zum Erfassen von Inputs/Outputs helfen beim Debugging, bieten aber möglicherweise nicht dieselbe pro-Trace Token-Verbrauchs- und Kosten-Aufschlüsselung wie hier beschrieben.