The Pulse
Mercor: Claude supera i CPA in quattro attività di chiusura contabile
Secondo Mercor, Claude Opus 5 ha ottenuto un punteggio perfetto in 20 tentativi su quattro attività adattate di chiusura contabile mensile, superando i 12 CPA abilitati coinvolti nello studio. L’azienda avverte che il test ha misurato la ca
AI.info Team · Scritto con l’IA ·
«Nelle attività contabili di media durata e ben definite, i modelli di IA di frontiera sono ormai più veloci e più precisi dei contabili junior.»
Aden Barton, Mercor
Mercor ha pubblicato questo risultato il 1° ottobre 2026, dopo aver confrontato 12 contabili abilitati con modelli di IA su quattro attività adattate di chiusura contabile mensile. Secondo lo studio, Claude Opus 5 ha completato tutti e 20 i tentativi con un punteggio perfetto, mentre i tentativi dei contabili senza assistenza hanno soddisfatto in media il 37% dei criteri della griglia di valutazione. Il risultato riguarda un insieme ristretto di attività strutturate, non il lavoro contabile nel suo complesso.
Quattro scenari di chiusura, un punteggio perfetto per l’IA
I contabili hanno lavorato su file aziendali simulati per individuare cifre, applicare le regole contabili dell’azienda, eseguire calcoli e produrre tabelle riepilogative. Gli scenari riguardavano la ripartizione del budget di un’organizzazione senza scopo di lucro, ricavi e commissioni alberghiere, l’analisi dei ricavi di eventi e i prospetti dei contratti di locazione. Mercor ha adattato le attività dal suo benchmark APEX-Accounting, le ha semplificate perché potessero essere completate da persone e ha fornito una mappa dei file per ridurre il tempo dedicato alla ricerca.
I partecipanti avevano un limite di tre ore per ogni attività. Nel confronto senza assistenza, i 12 contabili hanno effettuato 23 tentativi; Claude Opus 5 ne ha effettuati 20. Mercor riferisce che i tentativi dei partecipanti sono durati all’incirca da 30 a 180 minuti, mentre Claude ha completato ciascun tentativo in meno di 10 minuti. L’azienda afferma che i suoi valutatori hanno assegnato i punteggi confrontando i lavori con griglie di valutazione redatte da contabili; otto elaborati dei partecipanti sono stati inoltre valutati manualmente, con una concordanza del 98% tra quei punteggi e quelli assegnati dal modello linguistico usato come giudice.
L’etichetta di «contabili junior» va contestualizzata
Il titolo e il riepilogo di Mercor descrivono i partecipanti come contabili junior, ma l’appendice dello studio mostra un gruppo più eterogeneo. Tutti e 12 avevano una licenza CPA statunitense in corso di validità e in media 5,4 anni di esperienza contabile. Sette hanno indicato come proprio livello professionale attuale quello di contabile senior o revisore senior, tre quello di manager o superiore e due quello di collaboratore o associato; nessuno era socio, dirigente o membro del vertice aziendale.
Questo dettaglio conta nell’interpretare il confronto. Il punteggio medio dei partecipanti allo studio è stato del 37%, ma gli autori delle attività di Mercor si aspettavano circa il 30% da un contabile junior e il 55% da uno di livello intermedio. Secondo gli autori, i requisiti difficili da individuare potevano avere un effetto cumulativo: non cogliere una cifra o un’istruzione poteva abbassare il punteggio anche quando gran parte di un elaborato era corretta.
L’assistenza dell’IA non ha migliorato il punteggio
L’esperimento ha anche messo alla prova i contabili con Claude Cowork e Opus 5 in due delle loro quattro attività, assegnando in modo casuale l’ordine delle attività e quelle da svolgere con l’assistenza dell’IA. Mercor riferisce che Claude, lavorando da solo, è stato leggermente più preciso e circa 15 volte più veloce per attività rispetto ai contabili che lavoravano con Claude. In tre dei quattro tentativi assistiti che non hanno ottenuto un punteggio perfetto, il modello aveva prodotto la cifra corretta a un certo punto, ma questa non è stata riportata nell’elaborato finale.
Questo risultato non dimostra che la revisione umana sia in generale dannosa. Mercor ha progettato lo studio per misurare quanto l’IA aiutasse i contabili, ma i punteggi perfetti del modello non lasciavano margine di miglioramento secondo la griglia di valutazione. Inoltre, nelle condizioni del test i partecipanti non avevano colleghi da consultare né conoscenze accumulate sulle aziende fittizie: un contesto su cui i contabili fanno comunemente affidamento nel lavoro.
Una misura del lavoro sui file, non dell’intera professione
Mercor afferma che le attività privilegiavano capacità in cui i modelli riescono bene: cercare informazioni in più file, seguire istruzioni dettagliate e individuare piccoli requisiti. Non hanno messo alla prova la comunicazione con i clienti, la richiesta di chiarimenti, la collaborazione o le conoscenze tacite che si sviluppano nel tempo. Lo studio osserva che cinque partecipanti hanno giudicato poco realistica la situazione, soprattutto per l’assenza di interazioni con i colleghi; sette dei 12 hanno giudicato realistiche le attività.
Anche il confronto dei costi è altrettanto specifico. Usando i prezzi di listino dei token di Claude Opus 5 e la retribuzione mediana dei contabili negli Stati Uniti, Mercor stima 0,21 dollari per ogni criterio della griglia di valutazione soddisfatto dal modello e 10,35 dollari per i contabili: un costo 49 volte maggiore per il lavoro umano. La cifra relativa al modello usa i prezzi dei token senza sconti per il caching, mentre la cifra basata sulla retribuzione non corrisponde a quanto è stato pagato ai partecipanti. Queste ipotesi fanno dello studio un confronto tra prestazioni nelle attività e costi stimati, non un calcolo generale del costo di sostituire un contabile.