The Pulse

Mercor: i benchmark coprono solo una piccola parte del lavoro negli Stati Uniti

Secondo le stime di Mercor, il 90% delle ore lavorate negli Stati Uniti riguarda compiti poco o per nulla coperti dal suo campione di 29 benchmark di IA. La mappa dell’azienda collega i prompt dei benchmark alle professioni e ai compiti cat

AI.info Team · Scritto con l’IA · 2026-10-16

Circa il 90% delle ore lavorate negli Stati Uniti riguarda compiti poco o per nulla coperti dai benchmark di IA esaminati da Mercor. La stima non significa che l’IA non possa svolgere quel lavoro: significa che i test esistenti offrono poche indicazioni su quanto bene i modelli sappiano farlo.

La nuova mappa dei benchmark di Mercor confronta 29 valutazioni con il catalogo O*NET del Dipartimento del Lavoro statunitense, che elenca 923 professioni e 18.797 compiti. «I nostri risultati indicano che il 90% delle ore lavorate negli Stati Uniti è dedicato a compiti poco o per nulla coperti dai benchmark esistenti», scrive l’azienda.

La soglia di copertura è di cinque prompt

Mercor considera coperto un compito di O*NET quando il suo modello linguistico usato come valutatore lo collega ad almeno cinque prompt del campione di 29 benchmark. Un prompt può essere associato a più compiti. L’azienda stima la quota di ore lavorate legata ai compiti coperti combinando i propri dati sulla copertura con stime precedenti della distribuzione del tempo dei lavoratori tra i compiti di O*NET.

Il campione dà rilievo alle valutazioni agentiche: test che chiedono ai modelli di svolgere compiti, anziché rispondere a domande o consigliare un utente. Mercor ha inoltre privilegiato benchmark disponibili pubblicamente, con almeno 25 compiti, rilevanza economica e un livello di difficoltà non saturo. Ha posto un limite al numero di benchmark provenienti da ciascuna famiglia professionale, per evitare una concentrazione di test sul software e sulla ricerca.

In base a questa definizione, solo 208 delle 923 professioni hanno anche un solo compito rappresentato da almeno cinque prompt. In sei delle 22 famiglie professionali, nessuna professione raggiunge la soglia. Mercor afferma che le lacune sono particolarmente evidenti nelle professioni intellettuali meno diffuse e a reddito medio, tra cui i segretari degli studi legali e gli impiegati dei tribunali.

Gli avvocati sono messi alla prova; gli impiegati molto meno

La mappa mostra una concentrazione di test sull’ingegneria del software e sull’analisi finanziaria, mentre la guida di camion e la gestione degli impianti di trattamento del gas sono poco rappresentate. Anche i compiti delle professioni con un monte salari più elevato compaiono più spesso, persino dopo che Mercor ha tenuto conto del fatto che i compiti siano considerati esposti all’IA.

I compiti esposti all’IA hanno una probabilità circa sei volte maggiore di comparire nel campione di benchmark rispetto a quelli classificati come non esposti. All’interno delle professioni, i compiti giudicati più importanti hanno una probabilità da circa sei a dieci volte maggiore di essere rappresentati rispetto a quelli giudicati meno importanti. Un esempio di Mercor: i benchmark coprono il lavoro degli avvocati esposto all’IA molto più ampiamente dei compiti con una valutazione analoga dell’esposizione svolti dai segretari degli studi legali o dagli impiegati dei tribunali.

I dati dell’azienda descrivono ciò che misurano i test selezionati, non tutte le capacità dei modelli attuali né la quantità di lavoro che l’IA ha già cambiato. Una professione assente dal campione di benchmark può comunque comprendere compiti che l’IA è in grado di svolgere; la mappa semplicemente non consente una stima solida delle prestazioni dei modelli su quei compiti.

Mercor definisce provvisoria la stima

Mercor afferma che le 29 valutazioni non costituiscono un campione completo o pienamente rappresentativo dei benchmark pubblici, non saturi ed economicamente rilevanti. Un campione incompleto potrebbe far salire la quota stimata di lavoro non coperto, e l’azienda sostiene che è difficile quantificare l’entità di questa distorsione. Anche i criteri di selezione richiedono valutazioni soggettive: il «realismo economico», per esempio, è difficile da definire con precisione.

L’azienda ha verificato il proprio processo di associazione dei compiti confrontandolo con le revisioni umane dei suoi benchmark APEX. Gli esperti hanno esaminato 1.013 dei 1.022 prompt di APEX-1, APEX-Agents e APEX-Accounting, producendo 1.763 giudizi. I revisori hanno accettato l’associazione del compito indicata dal modello come prima scelta nel 76,7% dei giudizi; includendo i casi in cui la risposta corretta compariva altrove nell’elenco del modello, la percentuale sale all’85,4%. Queste verifiche riguardano i prompt di APEX, non tutti i benchmark dell’indice completo.

Mercor avverte inoltre che il criterio che limita la selezione ai benchmark non saturi potrebbe escludere i compiti più facili, mentre includere test saturi potrebbe far apparire la copertura più significativa di quanto sia, se quei test non rispecchiano più il lavoro reale. Secondo l’azienda, nessuna delle due scelte è ideale. Un ostacolo distinto riguarda il lavoro fisico: l’azienda cita una stima secondo cui solo il 37% dei posti di lavoro negli Stati Uniti consente di lavorare interamente da casa, lasciando molti compiti che gli attuali benchmark digitali non riescono facilmente a rilevare.

La copertura non equivale all’impatto sull’occupazione

La mappa affronta un problema di misurazione, non la questione se l’IA sostituirà o affiancherà determinate categorie di lavoratori. Mercor osserva che i modelli attuali sono usati perlopiù dalle persone, anziché per automatizzare intere professioni dall’inizio alla fine: valutazioni utili dovrebbero quindi misurare anche quanto l’IA aumenti la produttività umana. L’azienda afferma di aver avviato un lavoro in questo ambito, ma di non disporre ancora di un metodo applicabile su larga scala.

Per datori di lavoro, lavoratori e decisori politici, la conseguenza immediata è più circoscritta: i punteggi dei modelli ampiamente citati potrebbero riflettere un insieme limitato di compiti economicamente importanti, lasciando gran parte del lavoro ordinario non sottoposta a test. La stima del 90% di Mercor cambierà con l’aggiunta di benchmark, ma il dato attuale si basa su 29 valutazioni e su una soglia di cinque prompt per compito.