BenchSpan

Cos'è BenchSpan?

BenchSpan aiuta i team a eseguire benchmark per AI agent in modo più veloce, riproducibile e facile da condividere. Invece di collegare manualmente un agent a diversi harness di benchmark e copiare i risultati in file sparsi, BenchSpan standardizza l'esecuzione dei benchmark e convoglia punteggi, errori e tempi in una run history ordinata.

Il suo scopo principale è ridurre tempo e costi per l'esecuzione di suite di benchmark (inclusi sweep ampi come centinaia di istanze), migliorando la fiducia nei risultati legando le run all'hash commit dell'agent e facilitando il confronto side-by-side tra run.

Caratteristiche Principali

• Benchmark runner che standardizza la configurazione dell'agent tramite script shell: BenchSpan può eseguire agent che si avviano con un comando bash, minimizzando codice di incollaggio e lavoro specifico per l'interfaccia del harness.
• Libreria di benchmark più bring-your-own benchmarks: Puoi scegliere da un set di benchmark inclusi o portare la tua definizione di benchmark.
• Esecuzione parallela con container Docker isolati: Ogni istanza di benchmark gira nel proprio container Docker e può eseguire in parallelo, per completamenti molto più rapidi su suite grandi.
• Cattura e organizzazione automatica dei risultati: BenchSpan cattura punteggi, traiettorie, errori e tempi, poi li organizza per confronti successivi.
• Run taggate con commit per riproducibilità e confronto: I risultati sono taggati con l'hash commit dell'agent, così i team possono confrontare run diverse e sapere quale codice ha prodotto quali numeri.
• Riesegui solo le istanze fallite: Se una run incontra fallimenti parziali (es. errori di rete o rate limit su alcune istanze), puoi ritentare solo il sottoinsieme fallito invece di rieseguire tutto.

Come Usare BenchSpan

1. Onboarda il tuo agent scrivendo uno script bash che lo avvia, poi puntalo a BenchSpan.
2. Seleziona un benchmark dalla libreria di BenchSpan o usa un benchmark che fornisci.
3. Esegui la suite impostando il numero di istanze e avviando la run; BenchSpan esegue le istanze in parallelo usando container Docker.
4. Rivedi i risultati nell'output organizzato, poi confronta le run usando i tag hash commit. Se alcune istanze sono fallite, riesegui solo quelle.

Casi d'Uso

• Confrontare iterazioni dell'agent durante lo sviluppo: Esegui una suite di benchmark dopo aver aggiornato prompt o codice agent, poi confronta tassi di risoluzione e pattern di fallimento tra commit.
• Scalare valutazioni SWE-style su centinaia di istanze: Esegui suite di benchmark grandi che sarebbero impraticabili in sequenza, dove l'esecuzione parallela Docker riduce il tempo totale.
• Recuperare da fallimenti parziali senza ripartire da zero: Quando alcune istanze falliscono per rate limit o timeout, riesegui solo le istanze fallite invece di ripetere l'intera suite.
• Collaborazione di team su claim di benchmark: Condividi un unico record di run di benchmark con il team, così i risultati non si perdono in fogli di calcolo separati o messaggi chat.
• Testare agent con prompt o configurazioni diverse: Traccia quale versione di prompt e commit di codice ha prodotto quali risultati tramite run taggate con commit, aiutando a evitare dispute su "quale config" è stata usata.

FAQ

• Che tipo di agent supporta BenchSpan? Il sito afferma che “qualsiasi agent che gira via bash” funziona, il che significa che puoi avviare l'agent con un comando shell e BenchSpan si integra tramite quello.

• I benchmark girano in sequenza o in parallelo? BenchSpan esegue le istanze di benchmark in parallelo, con ogni istanza isolata nel proprio container Docker.

• Come gestisce BenchSpan le run fallite? Se alcune istanze falliscono, BenchSpan può rieseguire solo le istanze fallite invece di richiedere un riavvio completo dell'intera suite.

• Come sono organizzati i risultati per il confronto? I risultati (punteggi, traiettorie, errori e tempi) sono catturati e organizzati, e taggati con l'hash commit dell'agent per confronti side-by-side.

Alternative

• Script di benchmark locali o su singola macchina: Eseguire suite di benchmark su un laptop può essere più semplice inizialmente, ma il workflow è più lento e i risultati rimangono spesso frammentati, a meno di non creare tooling personalizzato per il tracking e la riproducibilità.
• Orchestrazione manuale con Docker e codice di collaudo personalizzato: Puoi parallelizzare con container e scrivere codice di collaudo per ogni benchmark, ma devi comunque implementare shim di interfaccia, logica di resume e una history centralizzata dei risultati.
• Registrazione risultati ad-hoc su fogli di calcolo/Notion/Slack: Copiare numeri in documenti condivisi può funzionare per esperimenti piccoli, ma non fornisce gestione standardizzata delle run, history con commit-tag o confronti strutturati automaticamente.