Glassbrain

Qu'est-ce que Glassbrain ?

Glassbrain est un outil de débogage visuel pour les applications alimentées par l'IA. Il capture chaque étape d'une exécution IA — de l'entrée utilisateur au parsing, à la récupération et aux appels LLM jusqu'à la sortie finale — et rend cette séquence sous forme d'arbre de traces interactif et cliquable.

Quand la sortie est incorrecte ou qu'un problème survient en production, Glassbrain vous aide à comprendre pourquoi en vous permettant d'inspecter les données derrière n'importe quelle étape, d'ajuster les entrées et de rejouer à partir de ce point sans redéploiement. Il fournit aussi des suggestions de correction axées sur ce qu'il faut changer plutôt que de simplement signaler l'erreur.

Fonctionnalités principales

• Arbre de traces visuel de la chaîne de raisonnement : Visualisez le workflow complet sous forme de nœuds (par ex., entrée, parser, retriever, document store, appel LLM, formatter, sortie finale) pour identifier où ça déraille.
• Inspection interactive des nœuds : Survolez ou sélectionnez des parties de la trace pour inspecter les données intermédiaires au lieu de lire de longs logs bruts.
• Rejouer en time-travel : Cliquez sur un nœud, modifiez l'entrée, et relancez l'exécution à partir de ce point pour vérifier des correctifs sans redéploiement.
• Vue Diff côte à côte : Comparez les résultats « avant » et « après » pour voir clairement les améliorations et changements.
• Suggestions de correction IA : Générez des propositions concrètes sur ce qu'il faut ajuster (par ex., changer la température ou activer le mode JSON strict), en fonction de l'échec.
• Sessions de débogage partageables : Créez une URL pour une session de débogage afin que vos coéquipiers puissent examiner la même trace et le contexte.
• Installation en une ligne pour le tracing : Installez et ajoutez un seul import (npm install glassbrain) pour commencer à capturer les traces.

Comment utiliser Glassbrain

1. Installez le package avec npm install glassbrain et ajoutez un import à votre app pour que Glassbrain capture les traces.
2. Reproduisez le problème dans votre application IA (par ex., une réponse erronée ou une exécution échouée).
3. Ouvrez la session dans Glassbrain pour voir l'arbre de traces et identifier l'étape défaillante.
4. Inspectez et rejouez : cliquez sur le nœud concerné, modifiez l'entrée, et relancez à partir de ce point pour tester des correctifs rapidement.
5. Examinez les résultats avec la vue diff avant/après, puis partagez le lien de débogage avec votre équipe.

Cas d'usage

• Vérification de précision des chatbots de support : Quand les utilisateurs signalent une réponse incorrecte (par ex., un décalage sur la fenêtre de politique de retour), utilisez l'arbre de traces pour trouver où le raisonnement du modèle ou la récupération a mené à la mauvaise sortie.
• Diagnostic d'erreurs en production : Pour des erreurs comme la limitation de taux lors d'un appel OpenAI API, inspectez la trace pour déterminer la cause racine et voir l'impact du comportement de retry.
• Itération sur prompts ou paramètres de génération : Si le format de sortie est incohérent, appliquez les changements suggérés (comme activer le mode JSON strict ou baisser la température) et validez l'effet avec rejouer et vue diff.
• Débogage de workflows LLM sur étapes de récupération : Quand les problèmes viennent d'étapes antérieures (parsing, récupération ou interactions document store), diagnostiquez au bon nœud plutôt que de vous fier uniquement à la sortie finale.
• Réponse à incidents en équipe : Partagez un lien vers la session de débogage pour que vos coéquipiers inspectent la même trace et collaborent sur les décisions de rejouer/correction.

FAQ

Que capture Glassbrain ?

Glassbrain capture les étapes d'une exécution IA, de l'entrée utilisateur au parsing, à la récupération, au stockage de documents, aux appels LLM, au formatage et à la sortie finale, et les présente dans un arbre de traces interactif.

Que signifie le rejouer en time-travel ?

Le rejouer en time-travel signifie que vous pouvez cliquer sur un nœud de la trace, modifier l'entrée pour cette étape, et relancer à partir de ce point sans redéploiement.

Quels modèles et stacks de frameworks Glassbrain supporte-t-il ?

Le site indique le support de OpenAI, Anthropic et LangChain, ainsi que LlamaIndex, plus un point de terminaison compatible OpenTelemetry pour les stacks personnalisés.

Puis-je partager une session de débogage avec mon équipe ?

Oui. Glassbrain génère un lien partageable (une URL pour la session de débogage) pour que d'autres puissent voir la trace et le contexte.

Glassbrain est-il gratuit à essayer ?

Oui. La page liste des plans Gratuits à 0 $/mois sans carte de crédit requise.

Alternatives

• Outils d’observabilité/télémétrie basés sur les logs et traces (ex. : workflows basés sur OpenTelemetry) : Utiles pour capturer l’activité système, mais nécessitent généralement une analyse manuelle des logs et n’offrent pas le même relecture au niveau des nœuds et workflow interactif en arbre de traces.
• Plateformes de monitoring d’applications LLM (orientées traces et évaluation) : Similaires pour la collecte de données de traces des workflows IA ; les différences portent souvent sur la présence de relecture time-travel, diff avant/après et partage de sessions dans l’UX de base.
• Débogage d’erreurs traditionnel avec instrumentation au niveau SDK : Peut aider à identifier les échecs d’appels API, mais manque souvent d’une trace visuelle unifiée de l’ensemble du pipeline IA de l’entrée à la sortie finale.
• Outils de débogage et d’évaluation axés sur les prompts : Utiles quand le problème principal est le comportement des prompts, mais ne couvrent pas toujours les étapes end-to-end du workflow comme la récupération et les interactions avec les stores de documents de la même manière.