Polarity

Was ist Polarity?

Polarity ist sandboxed Eval-Infrastruktur für AI Agents. Sie ist dafür ausgelegt, jede Agentenaufgabe in einer isolierten Docker-Sandbox mit echten Backing-Services wie Postgres, Redis, S3 und internen APIs auszuführen und den Lauf anschließend anhand von Verhaltensinvarianten und verbotenen Regeln zu bewerten.

Das Produkt richtet sich an Teams, die AI Agents in Produktion betreiben, besonders wenn Fehler von zustandsbehaftetem Verhalten, mehrstufiger Ausführung oder Interaktionen mit echten Services statt mit gemockten Abhängigkeiten abhängen. Außerdem unterstützt es Replikate zum Messen von Nichtdeterminismus und Seed-Replay, um Fehler lokal zu reproduzieren.

Zentrale Funktionen

• Isolierte Docker-Sandboxes für Agentenläufe mit vorinstallierten Backing-Services, damit Tests produktionsnahe Zustände und Service-Interaktionen abbilden können.
• Bewertung anhand von Verhaltensinvarianten und verbotenen Regeln, damit Teams prüfen können, ob ein Agent im erwarteten Verhalten geblieben ist.
• Replikatläufe, um Nichtdeterminismus über wiederholte Ausführungen derselben Aufgabe hinweg zu messen.
• Seed-Replay, das jedem Fehler beiliegt und es ermöglicht, dieselbe Sandbox und dieselben Laufbedingungen mit einem Befehl lokal wiederherzustellen.
• Produktionsorientierte Ausrichtung für langlebige, mehrstufige Agents, bei denen zustandsbehaftetes Verhalten über mehrere Services hinweg mit Prompt-Level-Tools schwer zu testen ist.

So nutzt man Polarity

Teams beginnen typischerweise damit, die Agentenaufgaben zu definieren, die sie testen wollen, und führen diese Aufgaben dann in einer Keystone-Sandbox aus. Sie können Invarianten, verbotene Regeln und Replikate konfigurieren, um Verhalten zu beobachten und instabile Ergebnisse zu erkennen. Wenn ein Lauf fehlschlägt, kann der Seed-Reproducer verwendet werden, um die exakte Sandbox lokal zur Fehlersuche und Iteration zu rekonstruieren.

Anwendungsfälle

• Testen eines AI Agents, der während eines mehrstufigen Workflows State in Postgres, Redis und S3 liest und schreibt.
• Aufdecken von Fehlern, die nur dann auftreten, wenn ein Agent mit echten Backing-Services statt mit gemockten Abhängigkeiten interagiert.
• Vergleichen wiederholter Läufe derselben Agentenaufgabe, um nichtdeterministisches Verhalten zu verstehen.
• Lokales Reproduzieren eines Produktionsfehlers aus einem Seed, damit Engineers die exakten Laufbedingungen debuggen können.
• Prüfen, ob ein Produktions-Agent verbotene Regeln befolgt und innerhalb definierter Verhaltensgrenzen bleibt.

FAQ

Was für ein Produkt ist Polarity?
Es ist ein Produkt für Evaluierungs-Infrastruktur für AI Agents, mit Fokus auf sandboxed Ausführung und Laufbewertung.

Verwendet Polarity gemockte Services?
Nein. Die Quelle beschreibt echte Backing-Services innerhalb der Sandbox, darunter Postgres, Redis, S3 und interne APIs.

Für welche Probleme eignet sich Polarity am besten?
Es ist für langlebige, komplexe, zustandsbehaftete Agents positioniert, bei denen Prompt-Level-Eval-Tools wichtige Fehlermodi übersehen können.

Können Fehler lokal reproduziert werden?
Ja. Das Produkt sagt, dass jeder Fehler einen Seed-Reproducer enthält, der die identische Sandbox lokal mit einem Befehl neu erstellen kann.

Alternativen

• Braintrust: eine benachbarte Evaluierungsplattform, die die Quelle derselben Kategorie zuordnet, aber als besser geeignet für Prompt-Level-Evals und einfachere Single-Call-Workflows dargestellt wird.
• LangSmith: ein weiteres angrenzendes Tool für Evaluierung und Observability von AI-Anwendungen, besonders wenn Teams mit weniger zustandsbehafteten oder weniger komplexen Agentenflüssen arbeiten.
• Langfuse: ein ähnliches Tool aus der Kategorie AI-Evaluation und Tracing, wobei die Quelle nahelegt, dass es sich besser für einfachere Workflows als Polarity eignet.
• Mock-based testing frameworks: ein breiterer alternativer Ansatz, der simulierte Abhängigkeiten statt echter Service-Sandboxes verwendet und für einfachere Tests ausreichend sein kann, nicht aber für zustandsbehaftetes Agentenverhalten.