Latitude

Qu’est-ce que Latitude ?

Latitude est une plateforme open source d’observabilité et de monitoring des agents IA conçue pour surveiller chaque étape effectuée par Claude Code. Elle capture des traces détaillées d’une session d’agent — telles que les prompts, appels d’outils, sorties de commandes et fichiers modifiés — afin que les équipes puissent comprendre les échecs en production et vérifier que les correctifs ont fonctionné.

L’objectif principal de Latitude est de rendre le comportement des agents observable de bout en bout. Elle vous aide à détecter les problèmes potentiels, à enquêter sur ce qui s’est réellement passé lors d’une session, et à suivre les coûts et l’utilisation au niveau de la session.

Fonctionnalités principales

• Traces de session pour chaque tour : Latitude enregistre ce que Claude Code exécute lors d’une session, y compris les prompts impliqués à chaque étape, les appels d’outils, les sorties Bash et les fichiers touchés par l’agent.
• Capture en temps réel du prompt système et des schémas d’outils : Les traces incluent le vrai prompt système et les schémas d’outils composés par Claude Code à l’exécution, pas seulement ce que vous pensiez envoyer.
• Détection d’échecs et monitoring des problèmes : La plateforme met en évidence les signaux de monitoring pour les échecs en production afin que vous puissiez enquêter sur les causes sous-jacentes.
• Visibilité des coûts par session : Vous pouvez voir les coûts au niveau des prompts, des sessions et des espaces de travail, basés sur l’activité de session capturée.
• Statistiques d’utilisation et régulation des dépenses : Latitude suit l’utilisation des tokens pour aider à réguler les dépenses au fil du temps.
• Capture de trafic en direct pour évaluation : Elle peut capturer les vraies entrées, sorties et contextes du trafic en direct pour soutenir la découverte d’échecs, l’analyse de type évaluation et les workflows de feedback humain.

Comment utiliser Latitude

1. Installer la télémétrie localement : Exécutez la commande fournie pour installer la télémétrie Latitude pour Claude Code (le site affiche une commande npx -y @latitude-data/claude-code-telemetry install).
2. Configurer le hook/preload et le lanceur d’agent : L’installateur configure un hook, un preload et un fichier launchctl .plist dans le cadre de la mise en place du monitoring sur votre machine.
3. Créer un compte Latitude gratuit : Inscrivez-vous sur Latitude pour monitorer le comportement des agents sur plusieurs projets.
4. Démarrer le monitoring et examiner les traces : Une fois configuré, utilisez les traces et vues de monitoring pour inspecter les tours, appels d’outils, sorties et fichiers associés, et suivre l’utilisation et les coûts.

Cas d’usage

• Débogage d’un échec d’agent en production : Quand Claude Code échoue, utilisez les traces capturées par Latitude (prompts, appels d’outils, sorties Bash et fichiers touchés) pour identifier ce qui a mal tourné lors de la session spécifique.
• Vérification qu’un correctif a fonctionné : Après des modifications de prompting, d’outils ou de workflows, comparez les traces de session résultantes pour confirmer que le nouveau prompt système/schémas d’outils et les appels d’outils suivants se sont comportés comme prévu.
• Audit de ce que l’agent a réellement fait : Enquêtez sur les préoccupations liées à la conformité ou à la sécurité en examinant les fichiers précis touchés par l’agent et les sorties de commandes exactes enregistrées pour chaque tour.
• Gestion des dépenses en tokens : Utilisez la visibilité des coûts par session et les statistiques d’utilisation des tokens pour comprendre le coût de chaque tâche aux niveaux prompt/session/espace de travail et réguler les dépenses.
• Construction d’évaluations à partir de trafic réel : Capturez les vraies entrées, sorties et contextes des sessions en direct pour soutenir le feedback humain, la découverte d’échecs et les workflows d’évaluation.

FAQ

Latitude est-elle spécifique à Claude Code ?
Latitude est décrite comme monitorant le comportement de Claude Code, y compris le prompt système et les schémas d’outils qu’il compose à l’exécution.

Quelles données Latitude collecte-t-elle lors d’une session ?
La page indique qu’elle capture les prompts, appels d’outils, sorties Bash et fichiers touchés par l’agent, et enregistre aussi le prompt système et les schémas d’outils utilisés à l’exécution.

Comment démarrer le monitoring ?
Le site indique d’installer la télémétrie Latitude localement via une commande d’installateur npx, puis de s’inscrire sur Latitude pour monitorer le comportement sur plusieurs projets.

Latitude fournit-elle une visibilité des coûts ?
Oui. Elle liste « Coût par session », avec une visibilité décrite aux niveaux par prompt, par session et par espace de travail.

Latitude supporte-t-elle les workflows d’évaluation et de feedback ?
La page mentionne la capture d’entrées/sorties/contexte réels du trafic en direct pour soutenir le « feedback humain », la « découverte d’échecs », le « Playground » et les « Evals ».

Alternatives

• Instrumentation basée sur OpenTelemetry pour les apps LLM : Si vous souhaitez une pile d’observabilité centrée sur OpenTelemetry, vous pouvez créer des traces personnalisées autour de vos exécutions d’agents. Latitude se positionne comme une couche d’observabilité axée sur les agents pour le comportement de Claude Code.
• Surveillance générale des applications (logs/métriques/traces) : Les outils axés sur la santé système (logs/métriques/APM) peuvent aider à détecter les échecs, mais ils ne capturent pas toujours le contexte spécifique aux agents comme les prompts système, les schémas d’outils et les détails des appels d’outils par tour.
• Frameworks d’évaluation d’agents : Les outils axés sur l’évaluation peuvent aider à tester les prompts et le comportement des agents sur des datasets, mais ils nécessitent souvent des entrées synthétiques ; Latitude met l’accent sur la capture à partir du trafic réel pour des entrées et sorties authentiques.