Glassbrain

¿Qué es Glassbrain?

Glassbrain es una herramienta de depuración visual para aplicaciones con IA. Captura cada paso de una ejecución de IA —desde la entrada del usuario hasta el análisis, recuperación, llamadas a LLM y la salida final— y representa esa secuencia como un árbol de trazas interactivo y clicable.

Cuando la salida es incorrecta o algo falla en producción, Glassbrain te ayuda a entender por qué permitiéndote inspeccionar los datos detrás de cualquier paso, ajustar entradas y reproducir desde ese punto sin volver a implementar. También proporciona sugerencias de corrección que se centran en qué cambiar en lugar de solo reportar el error.

Características clave

• Árbol de trazas visual de la cadena de razonamiento: Visualiza el flujo completo como nodos (p. ej., entrada, analizador, recuperador, almacén de documentos, llamada a LLM, formateador, salida final) para identificar dónde se desvió el camino.
• Inspección interactiva de nodos: Pasa el ratón o selecciona partes de la traza para inspeccionar datos intermedios en lugar de leer logs crudos largos.
• Reproducción con viaje en el tiempo: Haz clic en cualquier nodo, cambia la entrada y reproduce la ejecución desde ese punto para verificar correcciones potenciales sin volver a implementar.
• Vista de diff lado a lado: Compara resultados “antes” y “después” para que las mejoras y cambios sean visibles.
• Sugerencias de corrección con IA: Genera propuestas concretas sobre qué ajustar (por ejemplo, cambiar la temperatura o activar modo JSON estricto), basadas en lo que falló.
• Sesiones de depuración compartibles: Crea una URL para una sesión de depuración para que los compañeros revisen la misma traza y contexto.
• Configuración en una línea para trazas: Instala y añade un solo import (npm install glassbrain) para empezar a capturar trazas.

Cómo usar Glassbrain

1. Instala el paquete con npm install glassbrain y añade un import a tu app para que Glassbrain capture trazas.
2. Reproduce el problema en tu aplicación de IA (p. ej., una respuesta incorrecta o una ejecución fallida).
3. Abre la sesión en Glassbrain para ver el árbol de trazas e identificar el paso roto.
4. Inspecciona y reproduce: haz clic en el nodo relevante, cambia la entrada y reproduce desde ese punto para probar correcciones rápidamente.
5. Revisa resultados con la vista de diff antes/después y comparte el enlace de depuración con tu equipo.

Casos de uso

• Revisión de precisión en chatbots de soporte: Cuando los usuarios reportan una respuesta incorrecta (p. ej., discrepancia en ventana de política de devoluciones), usa el árbol de trazas para encontrar dónde el razonamiento o recuperación del modelo llevó a la salida errónea.
• Diagnóstico de fallos en producción: Para errores como limitación de tasa en una llamada a API de OpenAI, inspecciona la traza para determinar la causa raíz y ver el impacto del comportamiento de reintento.
• Iteración en prompts o parámetros de generación: Si el formato de salida es inconsistente, aplica cambios sugeridos (como activar modo JSON estricto o bajar la temperatura) y valida el efecto con reproducción y vista de diff.
• Depuración de flujos LLM en pasos de recuperación: Cuando los problemas provienen de etapas tempranas (análisis, recuperación o interacciones con almacén de documentos), diagnostica en el nodo correcto en lugar de tratar solo la salida final como señal.
• Respuesta a incidentes en equipo: Comparte un enlace a la sesión de depuración para que los compañeros inspeccionen la misma traza y colaboren en decisiones de reproducción/corrección.

Preguntas frecuentes

¿Qué captura Glassbrain?

Glassbrain captura pasos de una ejecución de IA, desde la entrada del usuario hasta el análisis, recuperación, almacenamiento de documentos, llamadas a LLM, formateo y la salida final, y los presenta en un árbol de trazas interactivo.

¿Qué significa reproducción con viaje en el tiempo?

La reproducción con viaje en el tiempo significa que puedes hacer clic en un nodo de la traza, cambiar la entrada de ese paso y reproducir desde ese punto sin volver a implementar.

¿Qué pilas de modelos y frameworks soporta Glassbrain?

El sitio indica soporte para OpenAI, Anthropic y LangChain, junto con LlamaIndex, más un punto final compatible con OpenTelemetry para pilas personalizadas.

¿Puedo compartir una sesión de depuración con mi equipo?

Sí. Glassbrain genera un enlace compartible (una URL para la sesión de depuración) para que otros vean la traza y el contexto.

¿Es Glassbrain gratis para probar?

Sí. La página lista planes Gratis con 0 $/mes y sin necesidad de tarjeta de crédito.

Alternativas

• Herramientas de observabilidad/telemetría con logs y trazas (p. ej., flujos basados en OpenTelemetry): Útiles para capturar actividad del sistema, pero suelen requerir análisis manual de logs y no ofrecen la misma reproducción a nivel de nodo y flujo interactivo del árbol de trazas.
• Plataformas de monitoreo de aplicaciones LLM (orientadas a trazas y evaluación): Similares en la recopilación de datos de trazas para flujos de IA; las diferencias suelen radicar en si ofrecen reproducción con viaje en el tiempo, comparación antes/después y compartición de sesiones como parte de la UX principal.
• Depuración tradicional de errores con instrumentación a nivel de SDK: Puede ayudar a identificar fallos en llamadas a API, pero a menudo carece de una traza visual unificada del pipeline de IA completo desde la entrada hasta la salida final.
• Herramientas de depuración y evaluación enfocadas en prompts: Útiles cuando el problema principal es el comportamiento del prompt, pero pueden no cubrir pasos de flujo de extremo a extremo como recuperación e interacciones con almacenes de documentos de la misma manera.