Glassbrain

O que é Glassbrain?

Glassbrain é uma ferramenta visual de depuração para aplicações com IA. Ela captura cada etapa de uma execução de IA — desde a entrada do usuário até o parsing, recuperação, chamadas de LLM e saída final — e renderiza essa sequência como uma árvore de traces interativa e clicável.

Quando a saída está errada ou algo falha em produção, Glassbrain ajuda a entender o porquê, permitindo inspecionar os dados por trás de qualquer etapa, ajustar entradas e reproduzir a partir desse ponto sem redeploy. Ela também fornece sugestões de correção focadas no que mudar, em vez de apenas relatar o erro.

Principais Recursos

• Árvore de traces visual da cadeia de raciocínio: Visualize o fluxo completo como nós (ex.: entrada, parser, retriever, document store, chamada LLM, formatter, saída final) para identificar onde as coisas saíram do trilho.
• Inspeção interativa de nós: Passe o mouse ou selecione partes do trace para inspecionar dados intermediários em vez de ler logs brutos longos.
• Replay com Time-Travel: Clique em qualquer nó, troque a entrada e reproduza a execução a partir desse ponto para verificar correções potenciais sem redeploy.
• Visualização de Diff lado a lado: Compare resultados “antes” e “depois” para ver melhorias e mudanças de forma clara.
• Sugestões de correção com IA: Gere propostas concretas do que ajustar (por exemplo, alterar temperature ou ativar modo JSON estrito), com base no que falhou.
• Sessões de depuração compartilháveis: Crie uma URL para uma sessão de depuração para que colegas revisem o mesmo trace e contexto.
• Configuração em uma linha para tracing: Instale e adicione um único import (npm install glassbrain) para começar a capturar traces.

Como Usar o Glassbrain

1. Instale o pacote com npm install glassbrain e adicione um import à sua app para que o Glassbrain capture traces.
2. Reproduza o problema na sua aplicação de IA (ex.: resposta errada ou execução falha).
3. Abra a sessão no Glassbrain para visualizar a árvore de traces e identificar a etapa quebrada.
4. Inspecione e reproduza: clique no nó relevante, altere a entrada e reproduza a partir desse ponto para testar correções rapidamente.
5. Revise os resultados usando a visualização de diff antes/depois e compartilhe o link de depuração com a equipe.

Casos de Uso

• Revisão de precisão de chatbots de suporte: Quando usuários relatam respostas incorretas (ex.: incompatibilidade de janela de política de devolução), use a árvore de traces para encontrar onde o raciocínio do modelo ou recuperação levou à saída errada.
• Diagnóstico de falhas em produção: Para erros como rate limiting em chamadas OpenAI API, inspecione o trace para determinar a causa raiz e ver o impacto do comportamento de retry.
• Iteração em prompts ou parâmetros de geração: Se o formato de saída for inconsistente, aplique mudanças sugeridas (como ativar modo JSON estrito ou reduzir temperature) e valide o efeito com replay e diff view.
• Depuração de fluxos LLM em etapas de recuperação: Quando problemas vêm de etapas iniciais (parsing, recuperação ou interações com document store), diagnostique no nó correto em vez de tratar só a saída final como sinal.
• Resposta a incidentes em equipe: Compartilhe um link da sessão de depuração para que colegas inspecionem o mesmo trace e colaborem em decisões de replay/correção.

FAQ

O que o Glassbrain captura?

Glassbrain captura etapas de uma execução de IA, desde a entrada do usuário até parsing, recuperação, armazenamento de documentos, chamadas LLM, formatação e saída final, e as apresenta em uma árvore de traces interativa.

O que significa replay com time-travel?

Replay com time-travel significa que você pode clicar em um nó do trace, alterar a entrada dessa etapa e reproduzir a partir desse ponto sem redeploy.

Quais stacks de modelos e frameworks o Glassbrain suporta?

O site menciona suporte a OpenAI, Anthropic e LangChain, além de LlamaIndex, mais um endpoint compatível com OpenTelemetry para stacks customizados.

Posso compartilhar uma sessão de depuração com minha equipe?

Sim. Glassbrain gera um link compartilhável (uma URL para a sessão de depuração) para que outros visualizem o trace e contexto.

O Glassbrain é gratuito para experimentar?

Sim. A página lista planos Free com $0/mês e sem necessidade de cartão de crédito.

Alternativas

• Ferramentas de observabilidade/telemetria usando logs e traces (ex.: fluxos baseados em OpenTelemetry): Úteis para capturar atividade do sistema, mas geralmente exigem análise manual de logs e podem não oferecer replay no nível de nó e fluxo de árvore de traces interativa.
• Plataformas de monitoramento de apps LLM (orientadas a traces e avaliação): Semelhantes na coleta de dados de traces para fluxos de IA; as diferenças geralmente se resumem a se oferecem replay com time-travel, diff antes/depois e compartilhamento de sessões como parte do UX principal.
• Debugging tradicional de erros com instrumentação em nível de SDK: Pode ajudar a identificar falhas em chamadas de API, mas frequentemente carece de um trace visual unificado do pipeline de IA completo, da entrada à saída final.
• Ferramentas de debugging e avaliação focadas em prompts: Úteis quando o problema principal é o comportamento do prompt, mas podem não cobrir passos de fluxo end-to-end como retrieval e interações com stores de documentos da mesma forma.