ReasoningBank

¿Qué es ReasoningBank?

ReasoningBank es un novedoso framework de memoria para agentes que ayuda a los agentes desplegados a aprender tanto de experiencias exitosas como fallidas. Está diseñado para agentes de larga duración que necesitan mejorar con el tiempo en lugar de tratar cada tarea como un intento aislado.

El framework almacena memorias estructuradas que capturan estrategias de razonamiento generalizables en lugar de registrar solo trazas completas de acciones. Esas memorias se recuperan antes de actuar, se actualizan después de que el agente termina una tarea y se usan para apoyar la autoevolución en tiempo de prueba en flujos de trabajo agénticos.

Funciones clave

• Elementos de memoria estructurados: Cada memoria incluye un título, una breve descripción y contenido destilado, lo que hace que la experiencia almacenada sea más fácil de reutilizar que una trayectoria sin procesar.
• Recuperación antes de actuar: El agente consulta ReasoningBank antes de actuar para que las estrategias pasadas relevantes puedan influir en el siguiente intento.
• Extracción a partir de éxitos y fallos: El framework convierte las ejecuciones exitosas en tácticas reutilizables y las fallidas en lecciones de precaución y señales contrafactuales.
• Recuperación, extracción y consolidación en bucle cerrado: ReasoningBank está construido como un flujo continuo de memoria que se actualiza después de cada interacción.
• Autoevaluación con un LLM-as-a-judge: El sistema puede evaluar trayectorias y extraer conclusiones incluso cuando el juicio no es perfectamente preciso.
• Escalado en tiempo de prueba consciente de la memoria: ReasoningBank puede usar múltiples trayectorias de exploración para destilar memorias más sólidas a partir de la búsqueda en tiempo de inferencia y la auto-contraste.

Cómo usar ReasoningBank

Un flujo de trabajo típico comienza vinculando ReasoningBank a un agente que realiza tareas como navegación web o ingeniería de software. Antes de cada acción, el agente recupera memorias relevantes del banco y las usa como contexto.

Después de la tarea, el agente evalúa la trayectoria, extrae estrategias útiles o reflexiones sobre fallos y las añade como nuevas memorias estructuradas. Con el tiempo, esto crea un repositorio de lecciones generales que el agente puede reutilizar en tareas posteriores.

Casos de uso

• Agentes de navegación web: Usa experiencias pasadas de navegación para evitar errores repetidos de navegación y reutilizar estrategias efectivas de búsqueda o interacción con páginas.
• Agentes de ingeniería de software: Captura lecciones de la exploración de bases de código, la depuración y la finalización de tareas para que el agente pueda trabajar con mayor eficacia en asignaciones repetidas.
• Automatización persistente de tareas: Da soporte a agentes que se ejecutan continuamente y necesitan mejorar a medida que encuentran nuevos flujos de trabajo y casos límite.
• Exploración en tiempo de inferencia: Destila múltiples trayectorias candidatas en memorias al usar métodos de escalado en tiempo de prueba.
• Análisis de fallos para agentes: Convierte intentos infructuosos en salvaguardas, como evitar trampas que provocaron bucles o pasos omitidos.

Preguntas frecuentes

¿Qué tipo de memoria almacena ReasoningBank?
Almacena memorias estructuradas que resumen estrategias de razonamiento, motivos de decisión e información operativa, en lugar de conservar solo registros completos de acciones.

¿Aprende solo de ejecuciones exitosas?
No. Una parte central de ReasoningBank es que también analiza experiencias fallidas y las convierte en lecciones preventivas.

¿El sistema requiere una autoevaluación perfecta?
No. La fuente indica que el framework es robusto incluso cuando el juicio basado en LLM no es perfectamente preciso.

¿En qué tareas se evaluó?
La fuente dice que se evaluó en benchmarks de navegación web e ingeniería de software.

¿ReasoningBank es un modelo independiente?
No. Se describe como un framework de memoria para agentes que funciona con un agente durante el tiempo de prueba.

Alternativas

• Sistemas de memoria de trayectoria: Almacenan historiales detallados de acciones, lo que puede preservar más contexto bruto, pero puede no destilar estrategias de nivel superior tan directamente.
• Sistemas de memoria de flujo de trabajo centrados en ejecuciones exitosas: Resumen solo flujos de trabajo exitosos, lo que puede ser más simple, pero puede perder señales de aprendizaje de los fallos.
• Capas generales de memoria para agentes: Los sistemas de memoria más amplios para agentes pueden dar prioridad a la recuperación de interacciones pasadas, pero no necesariamente a la extracción estructurada de razonamiento a partir de éxitos y fallos.
• Configuraciones de agentes sin memoria: Los agentes sin memoria persistente son más simples de implementar, pero no acumularán lecciones reutilizables entre tareas.