The Pulse
Cowork Bench di Sber elenca 475 attività; il repository GitHub ne elenca 496
Secondo CNews, Cowork Bench di Sber comprende 475 attività d’ufficio, mentre un repository GitHub pubblico con lo stesso nome ne descrive 496. Nessuna delle due pagine spiega la differenza e il resoconto disponibile attribuisce i dettagli a
AI.info Team · Scritto con l’IA ·
Secondo CNews, Cowork Bench di Sber comprende 475 attività; un repository GitHub pubblico con lo stesso nome ne descrive 496. Il resoconto di CNews afferma che i dettagli sono stati forniti dai rappresentanti di Sber. Il progetto GitHub non indica Sber come proprio editore e nessuna delle due pagine spiega la differenza tra i conteggi. I dati vanno quindi considerati come due descrizioni distinte, non come prova che uno dei due conteggi sia errato.
Il test di Sber misura il lavoro portato a termine
Cowork Bench valuta se un agente riesce a completare un flusso di lavoro d’ufficio, non se un modello riesce a produrre una risposta convincente. Secondo il resoconto di CNews sulle informazioni fornite da Sber, la suite copre 12 funzioni aziendali e 26 sistemi aziendali, tra cui strumenti per lavorare con fogli di calcolo, documenti, email, calendari, archiviazione dei dati e basi di conoscenza. Le attività possono richiedere più passaggi tra questi strumenti, per esempio preparare un’analisi e inoltrarne i risultati.
Un esempio riportato nell’articolo chiede a un agente di confrontare i piani di bilancio con i dati effettivi di quattro reparti, calcolare e spiegare gli scostamenti, preparare un rapporto e una presentazione, rivedere una previsione e inviare email. Un altro gli chiede di organizzare una trasferta di lavoro per un team, selezionando i dipendenti, cercando i biglietti, calcolando i costi e aggiungendo riunioni ai calendari. Questi scenari verificano se un agente sa coordinare le varie parti di un lavoro, non soltanto rispondere a una domanda che le riguarda.
Andrey Belevtsev, vicepresidente senior di Sber e responsabile dello sviluppo tecnologico, ha descritto l’uso previsto del benchmark:
«Cowork Bench è il primo benchmark di questa categoria: aiuta a valutare quanto bene gli agenti gestiscano i processi di lavoro reali e quale parte di questi possano assumersi.»
Belevtsev ha anche detto che il benchmark è aperto all’uso da parte di sviluppatori e aziende. Il resoconto descrive GigaCowork come un prodotto di Salyut for Business, azienda dell’ecosistema di Sber.
GigaCowork ha completato il 75,2% delle attività nel confronto di Sber
I rappresentanti di Sber hanno riferito a CNews che gli sviluppatori di GigaCowork hanno confrontato nove configurazioni software per agenti usando un unico modello aperto, le stesse attività e gli stessi dati, nonché la stessa procedura di verifica. Le configurazioni comprendevano Goose, Claude Code, DeepSeek, Pi, Codex CLI, OpenHands, OpenCode, Strands baseline e GigaCowork. CNews ha riportato tassi di completamento compresi tra il 62% e l’80%: GigaCowork ha completato il 75,2% delle attività, collocandosi tra i risultati migliori.
Secondo il resoconto fornito da Sber, il confronto è utile perché isola le differenze nel software che circonda un modello. Tuttavia, l’articolo di CNews non specifica il nome del modello aperto né fornisce una tabella completa dei punteggi o una ripartizione dei risultati per attività. Le percentuali riportate mostrano l’intervallo osservato da Sber, ma non stabiliscono come si comporterebbe ciascun sistema con un altro modello o un insieme diverso di attività.
Il repository con 496 attività lascia aperta una questione di versione
Il repository GitHub presenta Cowork Bench come un benchmark che usa più strumenti, con 496 attività end-to-end, circa 120 strumenti disponibili per ogni attività e una valutazione deterministica mediante controlli programmatici e verifica degli effetti collaterali tramite SQL. Il suo README afferma che la valutazione viene eseguita in locale usando Docker Compose e un database PostgreSQL prepopolato, senza chiamate ad API esterne durante la valutazione. Afferma inoltre che i prompt delle attività sono in russo e descrive la copertura di ambiti specifici della Russia, come le ferrovie, la Borsa di Mosca e le risorse umane di 1C.
Il repository cita Toolathlon come progetto su cui si basa, descrivendo il proprio lavoro come un ampliamento con attività e servizi localizzati per la Russia. Questi dettagli di implementazione differiscono dal conteggio di 475 attività e dall’inquadramento in termini di sistemi aziendali riportati da CNews nel resoconto dell’annuncio di Sber. Finché Sber o i responsabili del repository non chiariranno il rapporto tra le due descrizioni, le pagine disponibili riportano due cifre pubblicate diverse: 475 nell’articolo di CNews del 16 ottobre e 496 nel README di GitHub.