The Pulse
Nel benchmark fiscale di Surge AI il miglior agente supera il 10,8% dei tentativi
Il benchmark DAYJOB: Tax di Surge AI mette alla prova gli agenti di IA su 50 incarichi fiscali professionali e 1.789 file. Claude Sonnet 5.5 guida la classifica dell’azienda, superando il 10,8% dei tentativi secondo i suoi criteri di valuta
AI.info Team · Scritto con l’IA · verificato ·
Claude Sonnet 5.5 ha superato il 10,8% dei tentativi nel nuovo benchmark di Surge AI sul lavoro fiscale, il punteggio più alto tra i modelli testati. L’azienda ha pubblicato DAYJOB: Tax il 27 ottobre, con 50 incarichi costruiti attorno alle istruzioni incomplete, ai documenti contraddittori e alle valutazioni discrezionali che i professionisti fiscali si trovano ad affrontare. Anche il modello in testa ha raggiunto la soglia di superamento fissata da Surge in circa un tentativo su nove.
Che cosa ha considerato Surge un tentativo superato
Surge ha valutato gli agenti su 50 ambienti fiscali contenenti 1.789 file. Ogni incarico parte da una richiesta del cliente e dalla documentazione di supporto; l’agente deve produrre una dichiarazione fiscale, documenti di lavoro, una revisione tecnica o una consulenza per il cliente. Secondo l’azienda, i compiti coprono otto aree, tra cui la fiscalità individuale e familiare, le piccole imprese, le società di persone, la fiscalità internazionale, le operazioni societarie e le controversie fiscali.
L’azienda riporta il pass@1 con una soglia del 95% nella griglia di valutazione: un tentativo è superato quando il lavoro soddisfa almeno il 95% dei criteri previsti per quel compito. Tali criteri riguardano i calcoli, la documentazione a supporto, le questioni rilevanti e il prodotto finale. Il punteggio misura quindi la capacità di portare a termine un incarico in modo soddisfacente, dall’inizio alla fine, secondo la griglia di Surge, non se un agente sappia rispondere a una domanda fiscale isolata.
I documenti sono vari oltre che numerosi. Tra i file, Surge elenca 1.487 PDF, 117 fogli di calcolo e 38 documenti Word, con una mediana di 30 file per incarico e un massimo di 123. Alcuni compiti richiedono agli agenti di riconciliare dichiarazioni e documenti sulle retribuzioni; altri includono corrispondenza, contratti, fotografie o registri degli interventi.
Una scadenza mancata, nascosta nella vendita di una casa
Un esempio riguarda una cliente, Anna, che ha lasciato il suo appartamento nell’agosto 2024 e ha chiesto se, ai fini fiscali, fosse meglio venderlo nell’ottobre 2026 o nel gennaio 2027. Surge afferma che l’agente ha individuato correttamente che entrambe le date proposte soddisfacevano il requisito di residenza per un’esenzione dalle imposte sulle plusvalenze fino a 250.000 dollari, ma ha trascurato una scadenza successiva che potrebbe essere rilevante in caso di rinvio della vendita. L’azienda riferisce che Astra ha mancato la scadenza in tutti e cinque i tentativi, mentre Opus l’ha individuata in tutti e cinque.
L’esempio illustra l’attenzione che il benchmark riserva alle questioni che vanno oltre la domanda esplicita del cliente. Un altro incarico riguarda un’azienda che ritiene di operare soltanto in Alabama, mentre i registri degli interventi sul campo mostrano squadre al lavoro in cinque stati: un indizio che potrebbe essere rilevante per i suoi obblighi fiscali. In entrambi i casi, il test verifica se l’agente sa collegare dettagli sparsi nei documenti a una decisione che il cliente potrebbe non sapere di dover prendere in considerazione.
Tre modelli Claude guidano la classifica
Claude Sonnet 5.5 è in testa alla classifica con il 10,8%, seguito da Claude Fable 5.1 con il 9,6% e Claude Opus 5.5 con il 9,2%. La classifica riporta anche Muse Wonder 1.0 al 6% e Grok 4.7 al 5%; diverse configurazioni valutate ottengono meno dell’1%, mentre Kimi K3, Mistral Large 4 e Qwen 3.8 Max ottengono ciascuno zero.
Edwin Chen ha scritto su LinkedIn: «Conoscere le norme fiscali non basta. I migliori agenti fiscali dovrebbero anche dare consigli e avere il giudizio professionale e l’esperienza necessari per gestire tutto ciò che non sapevate di dover chiedere».
«Conoscere le norme fiscali non basta. I migliori agenti fiscali dovrebbero anche dare consigli e avere il giudizio professionale e l’esperienza necessari per gestire tutto ciò che non sapevate di dover chiedere».
Edwin Chen, LinkedIn
Il punteggio non misura tutti gli usi dell’IA in ambito fiscale
DAYJOB: Tax si concentra su incarichi complessi che richiedono agli agenti di esaminare i documenti e portare le decisioni fino alla realizzazione di un prodotto finale. Le basse percentuali di superamento mostrano quanto spesso i sistemi testati non abbiano raggiunto l’esigente soglia di Surge in questi compiti; non stabiliscono quanto bene o male gli stessi modelli operino in attività fiscali più circoscritte e supervisionate. La distinzione è importante per contribuenti e consulenti che valutano se farsi assistere in un singolo calcolo o delegare un intero incarico di dichiarazione fiscale o consulenza.
Surge afferma che la classifica completa è disponibile sulla pagina del benchmark e che è possibile richiedere l’accesso al benchmark completo. Il risultato riportato è specifico: su questa serie di 50 incarichi, il modello in testa ha soddisfatto i criteri dichiarati nel 10,8% dei primi tentativi.