The Pulse

DAYJOB di Surge AI mette alla prova la capacità degli agenti di prendere le decisioni giuste

Il 24 settembre 2026 Surge AI ha presentato DAYJOB, una suite di benchmark per agenti professionali nella sanità e nella finanza. Secondo l’azienda, i modelli con i punteggi più alti hanno superato completamente meno di un incarico su quatt

AI.info Team · Scritto con l’IA · verificato · 2026-09-24

Il nuovo benchmark di Surge AI chiede agli agenti di prendere decisioni che i test di lavoro convenzionali possono già indicare esplicitamente, afferma l’azienda. La critica dell’azienda a GDPval di OpenAI, secondo cui i suoi compiti spesso prescrivono i passaggi da seguire e misurano la produzione di routine, mette in luce un disaccordo diretto su cosa costituisca una capacità professionale. DAYJOB, annunciato il 24 settembre, è il tentativo di Surge di mettere alla prova la capacità di giudizio che precede la stesura di un documento finito.

La sfida di Surge a GDPval

I primi benchmark di DAYJOB coprono la sanità e la finanza. La suite contiene 130 incarichi per esperti, basati su brevi richieste di lavoro e ampie raccolte di cartelle, rapporti, fogli di calcolo ed email. Invece di dire a un agente esattamente cosa fare, il compito può chiedergli se un rapporto possa essere inviato senza rischi o se un paziente possa essere dimesso; l’agente deve individuare gli elementi pertinenti e decidere cosa significano.

Secondo Surge, la lunghezza media dei prompt di DAYJOB è di 81 parole nella finanza e 49 nella sanità, a fronte delle 337 parole dei compiti di GDPval. Gli incarichi di DAYJOB forniscono anche molti più file di supporto: una media di 25,7 nella finanza e 19,8 nella sanità, rispetto a 1,2 per GDPval, afferma l’azienda. Si tratta dei confronti di Surge e della sua interpretazione dei limiti di GDPval; non dimostrano che il benchmark precedente non riesca a misurare ogni tipo di capacità professionale.

Un errore di unità arriva a 25,7 milioni di dollari

Un incarico finanziario chiede a un agente di esaminare i rapporti di un fondo prima che vengano inviati a un nuovo cliente. I materiali di supporto comprendono documenti sulle politiche, file dei prezzi dei fornitori, rapporti di sistema, quotazioni dei broker ed email. Il prezzo di una posizione era stato ricavato da uno screenshot di Bloomberg che mostrava centesimi sudafricani, ma il suo valore era stato inserito in rand: così una posizione da circa 260.000 dollari sembrava valerne 26 milioni.

GPT-5.6 ha individuato altri due errori nelle fonti dei prezzi, per un valore netto di 132.000 dollari, e ha raccomandato di rinviare l’invio dei rapporti. Non ha individuato l’errore di unità, molto più grande. Secondo Surge, su 66 esecuzioni in 22 configurazioni di modelli, solo due hanno rilevato lo scambio tra centesimi e rand; entrambe erano esecuzioni di Claude Opus 5. L’esempio verifica se un agente sappia risalire alla fonte di un numero e mettere in discussione un risultato apparentemente plausibile, invece di limitarsi a completare i calcoli.

Il caso sanitario ruota attorno a una diagnosi

In un compito sanitario, un medico chiede a un agente di esaminare i risultati di laboratorio prima di dimettere un paziente con debolezza facciale, descritta nel passaggio di consegne come «una paralisi di Bell da manuale». Altre cartelle riportano dolore al collo dopo aver sollevato pesi, difficoltà a parlare e un esame facciale incompleto: dettagli che, secondo Surge, dovrebbero indurre a ulteriori accertamenti prima della dimissione.

Secondo quanto riferisce Surge, GPT-5.6 ha riconosciuto nel suo ragionamento la possibilità di una causa vascolare, ma ha deciso di non mettere in discussione la diagnosi se non necessario. Un’esecuzione di Grok che esaminava le stesse cartelle ha contestato il piano e raccomandato di sospendere la dimissione per una valutazione d’emergenza e un esame di diagnostica per immagini vascolare. Il contrasto tra le risposte illustra l’obiettivo dichiarato del benchmark: verificare se un agente si accorge quando gli elementi disponibili dovrebbero modificare il corso d’azione richiesto.

Per superare completamente un compito occorre soddisfare ogni criterio di valutazione

Il modello migliore ha superato completamente il 24,7% degli incarichi di DAYJOB: Healthcare e il 23,9% di quelli di Finance, riferisce Surge. Queste cifre misurano il superamento completo dei compiti, non l’eventuale ottenimento di punteggi parziali da parte di un modello: le schede pubbliche dei dataset del benchmark definiscono il successo come il soddisfacimento del 100% dei criteri di valutazione di un compito. La distinzione è importante quando si interpreta una bassa percentuale di superamento come indicazione delle prestazioni complessive.

Secondo Surge, i compiti sono stati creati da esperti con esperienza diretta nei rispettivi settori e ogni incarico è passato attraverso tre livelli di revisione per verificarne la correttezza, la completezza e la risolvibilità. L’azienda ha pubblicato i materiali dei compiti su Hugging Face per Healthcare e Hugging Face per Finance, insieme a un sistema di valutazione su GitHub. I risultati provengono da un benchmark realizzato da Surge, quindi mettono alla prova la definizione di capacità di giudizio sul lavoro scelta dall’azienda, senza costituire una misurazione indipendente della frequenza con cui gli agenti falliscono sul lavoro.