The Pulse

SecondState pubblica FAB, un test da 50 compiti per gli agenti finanziari

Il Finance Agents Benchmark di SecondState sottopone gli agenti di IA a 50 compiti di due diligence nella data room di un distributore fittizio, composta da 160 file. Il migliore dei quattro modelli ha soddisfatto tutti i criteri di valutaz

AI.info Team · Scritto con l’IA · verificato · 2026-09-27

Nel nuovo benchmark di SecondState sugli agenti di IA impegnati nella due diligence finanziaria, il modello migliore ha prodotto una risposta che soddisfaceva tutti i criteri di valutazione nel 60% dei casi. L’azienda ha pubblicato FAB, il Finance Agents Benchmark, come progetto open source: 50 compiti ambientati nella data room di un distributore industriale fittizio, un’infrastruttura per eseguire e valutare gli agenti e le 600 risposte alla base dei primi risultati.

SecondState realizza uno spazio di lavoro basato sull’IA per i team finanziari, destinato ad attività di contabilità, due diligence, revisione, consulenza e finanza aziendale. FAB mette alla prova gli agenti su incarichi del tipo che il team dell’acquirente in un’operazione affida a un analista e li valuta con rigore: un compito è superato solo se sono soddisfatti tutti i suoi criteri di valutazione.

Un’unica azienda sintetica, 160 documenti

Ogni compito riguarda la stessa azienda, Meridian Industrial Supply LLC, un distributore industriale statunitense sintetico con ricavi di 120 milioni di dollari nel FY2024 e 144 milioni di dollari nel FY2025. La sua data room contiene due anni di registri contabili e documenti probatori fino al 15 febbraio 2026, distribuiti in 160 file: esportazioni CSV strutturate come quelle di SAP, fogli di calcolo, PDF, documenti Word, una presentazione PowerPoint ed email.

I dati non sono stati scritti a mano. Secondo la guida al benchmark, sono stati generati a partire da un registro comune a partita doppia e dalle specifiche dell’azienda; 19 elementi inseriti appositamente mettono alla prova la riconciliazione, il giudizio finanziario e la capacità di riconoscere quando le prove sono insufficienti. Le risposte di riferimento derivano da quei dati generati e non entrano mai nello spazio di lavoro dell’agente.

I 50 compiti si dividono in 15 richieste facili, 20 di difficoltà media e 15 difficili, per un totale di 231 criteri di valutazione. Quelli facili chiedono di indicare l’EBITDA dichiarato o di riconciliare i ricavi netti del FY2025 tra SAP e i conti gestionali. Quelli difficili chiedono all’agente di valutare ogni rettifica dell’EBITDA, costruire un prospetto di raccordo tra valore d’impresa e valore del capitale proprio, cercare possibili abbellimenti dei conti di fine esercizio o scrivere una nota sui cinque segnali d’allarme più importanti per il team che segue l’operazione.

Una sandbox isolata e un modello di IA come giudice

Ogni prova inizia in una nuova sandbox, con la data room montata in sola lettura e senza accesso alla rete. L’agente può elencare, cercare e leggere i file nei formati presenti nella data room, eseguire Python o DuckDB e deve scrivere la risposta in un unico file. Per impostazione predefinita dispone di 200 turni del modello e 500 chiamate agli strumenti per compito. I criteri di valutazione e i dati privati usati per la generazione non vengono mai montati nella sandbox.

Un modello giudice, GPT-6 Luna con il livello massimo di ragionamento, valuta separatamente ogni criterio sulla base del compito e della risposta. La guida precisa che alcuni criteri sono stati chiariti dopo le esecuzioni degli agenti, mentre le istruzioni per gli agenti sono rimaste invariate, e che il prompt di sistema dell’infrastruttura è cambiato dopo le esecuzioni pubblicate.

DeepSeek guida per compiti superati, GPT-6 Sol per criteri soddisfatti

SecondState ha eseguito quattro modelli tre volte su tutti i 50 compiti, ottenendo 600 risposte. DeepSeek V4.1 Flash ha registrato la percentuale più alta di compiti superati, il 60,0%: ne ha superati 38 almeno una volta e 23 in tutte e tre le prove. GPT-6 Sol ha superato il 58,7% dei compiti, ma ha ottenuto la percentuale più alta di criteri soddisfatti, l’83,4%, e il maggior numero di compiti superati in tutte e tre le prove, 24. GPT-6 Luna ha ottenuto il 50,7% sui compiti e il 79,5% sui criteri; GLM 5.3 Flash rispettivamente il 47,3% e il 76,2%.

La differenza tra le due misure deriva dalla regola del tutto o niente: un modello può superare la maggior parte delle verifiche individuali e non superare comunque il compito. La suddivisione dei risultati per difficoltà distingue i due modelli in testa. DeepSeek ha superato 42 delle sue 45 risposte ai compiti facili, contro le 35 di Sol; sui compiti difficili, invece, Sol ne ha superati 21 su 45 e DeepSeek 13.

Il rapporto stima anche il costo di un’esecuzione completata, escludendo la valutazione e considerando tutto l’input come non presente nella cache: circa 0,06 dollari per GPT-6 Luna, 0,14 dollari per GLM 5.3 Flash, 0,88 dollari per DeepSeek V4.1 Flash e 0,94 dollari per GPT-6 Sol. SecondState precisa che queste cifre sono stime, non importi fatturati.

I limiti dichiarati dall’azienda stessa

Tutti i 50 compiti riguardano un’unica azienda e due di essi, i compiti 041 e 049, sono valutati usando rivalutazioni salvate; il rapporto sui risultati conserva una precedente riserva sulla scarsa chiarezza delle ipotesi alla base di quei due compiti. SecondState ha scritto nella guida al benchmark:

«Questi punteggi descrivono un’unica azienda sintetica e non dimostrano una superiorità generale nel lavoro finanziario.»

SecondState, guida a FAB su GitHub

La serie di compiti, i documenti e l’indice delle domande sono su Hugging Face; un dataset complementare contiene tutte le 600 esecuzioni con le rispettive tracce, risposte, rubriche di valutazione e valutazioni finali. Il codice è distribuito con licenza MIT, mentre dati, compiti, rubriche di valutazione e risultati sono pubblicati con licenza CC BY 4.0. Per eseguire l’infrastruttura servono Python 3.11 o versioni successive, uv, Docker o Podman e chiavi API per i modelli. La scheda del dataset chiede agli utenti di non includere il benchmark nei dati di addestramento dei modelli e di citare le revisioni del dataset e del codice quando presentano i risultati.