ReasoningBank

Qu’est-ce que ReasoningBank ?

ReasoningBank est un nouveau framework de mémoire agentique qui aide les agents déployés à apprendre à partir d’expériences réussies comme ratées. Il est conçu pour les agents de longue durée qui doivent s’améliorer au fil du temps plutôt que de traiter chaque tâche comme une tentative isolée.

Le framework stocke des mémoires structurées qui capturent des stratégies de raisonnement généralisables au lieu d’enregistrer uniquement des traces d’actions complètes. Ces mémoires sont récupérées avant l’action, mises à jour après la fin d’une tâche par l’agent, et utilisées pour soutenir l’auto-évolution au moment de l’inférence dans les workflows agentiques.

Fonctionnalités clés

• Éléments de mémoire structurés : chaque mémoire comprend un titre, une courte description et un contenu distillé, ce qui rend l’expérience stockée plus facile à réutiliser qu’une trajectoire brute.
• Récupération avant l’action : l’agent interroge ReasoningBank avant d’agir afin que les stratégies passées pertinentes puissent orienter la tentative suivante.
• Extraction à partir des succès et des échecs : le framework transforme les exécutions réussies en tactiques réutilisables et les exécutions ratées en leçons de prudence et en signaux contrefactuels.
• Boucle fermée de récupération, extraction et consolidation : ReasoningBank est construit comme un workflow de mémoire continu qui se met à jour après chaque interaction.
• Auto-évaluation avec un LLM-as-a-judge : le système peut évaluer des trajectoires et extraire des enseignements même lorsque le jugement n’est pas parfaitement exact.
• Montée en charge au moment de l’inférence, consciente de la mémoire : ReasoningBank peut utiliser plusieurs trajectoires d’exploration pour distiller des mémoires plus solides à partir de la recherche au moment de l’inférence et de l’auto-contraste.

Comment utiliser ReasoningBank

Un workflow typique commence par l’attachement de ReasoningBank à un agent qui exécute des tâches telles que la navigation web ou l’ingénierie logicielle. Avant chaque action, l’agent récupère les mémoires pertinentes de la banque et les utilise comme contexte.

Après la tâche, l’agent évalue la trajectoire, extrait des stratégies utiles ou des réflexions sur l’échec, puis les ajoute sous forme de nouvelles mémoires structurées. Au fil du temps, cela crée un dépôt de leçons générales que l’agent peut réutiliser lors de tâches ultérieures.

Cas d’utilisation

• Agents de navigation web : utiliser les expériences de navigation passées pour éviter les erreurs répétées de navigation et réutiliser des stratégies efficaces de recherche ou d’interaction avec les pages.
• Agents d’ingénierie logicielle : capturer les leçons issues de l’exploration de la base de code, du débogage et de l’achèvement des tâches afin que l’agent puisse travailler plus efficacement sur des missions répétées.
• Automatisation persistante des tâches : prendre en charge des agents qui fonctionnent en continu et doivent s’améliorer au fil de nouvelles workflows et de cas limites.
• Exploration au moment de l’inférence : distiller plusieurs trajectoires candidates en mémoires lors de l’utilisation de méthodes de montée en charge au moment du test.
• Analyse des échecs pour les agents : transformer les tentatives infructueuses en garde-fous, par exemple en évitant les pièges qui provoquaient des boucles ou des étapes manquées.

FAQ

Quel type de mémoire ReasoningBank stocke-t-il ?
Il stocke des mémoires structurées qui résument des stratégies de raisonnement, des justifications de décision et des informations opérationnelles, plutôt que de conserver uniquement des journaux d’actions complets.

Apprend-il uniquement à partir des exécutions réussies ?
Non. Un élément central de ReasoningBank est qu’il analyse aussi les expériences ratées et les transforme en leçons préventives.

Le système exige-t-il une auto-évaluation parfaite ?
Non. La source indique que le framework reste robuste même lorsque le jugement basé sur un LLM n’est pas parfaitement exact.

Sur quelles tâches a-t-il été évalué ?
La source indique qu’il a été évalué sur des benchmarks de navigation web et d’ingénierie logicielle.

ReasoningBank est-il un modèle autonome ?
Non. Il est décrit comme un framework de mémoire agentique qui fonctionne avec un agent au moment du test.

Alternatives

• Systèmes de mémoire de trajectoire : ils stockent des historiques d’actions détaillés, ce qui peut préserver davantage de contexte brut, mais peut ne pas distiller aussi directement des stratégies de plus haut niveau.
• Systèmes de mémoire de workflow centrés sur les exécutions réussies : ils résument uniquement les workflows réussis, ce qui peut être plus simple mais peut manquer de signaux d’apprentissage issus des échecs.
• Couches générales de mémoire pour agents : des systèmes de mémoire plus larges pour agents peuvent mettre l’accent sur la récupération des interactions passées, sans nécessairement extraire une structuration du raisonnement à partir des succès et des échecs.
• Configurations d’agents sans mémoire : les agents sans mémoire persistante sont plus simples à implémenter mais n’accumulent pas de leçons réutilisables d’une tâche à l’autre.