The Pulse

Google lancia un benchmark per gli agenti che svolgono lavoro intellettuale con contenuti visivi

Google e Artificial Analysis hanno presentato un benchmark per gli agenti che lavorano su file visivamente complessi. Secondo Google, Gemini 4 Carbon si è classificato secondo per qualità tra i modelli testati e ha completato i compiti a un

AI.info Team · Scritto con l’IA · verificato · 2026-11-10

Un test costruito attorno al lavoro con contenuti visivi

Google ha annunciato il 10 novembre che sta lanciando il benchmark Multimodal Knowledge Agent insieme ad Artificial Analysis. Il test valuta se gli agenti di IA siano in grado di ragionare su file visivamente complessi per svolgere compiti di lavoro intellettuale.

Secondo Google, la maggior parte dei benchmark per il lavoro intellettuale può essere risolta con il solo testo, senza dover guardare un’immagine o l’impaginazione di una pagina. Google richiama invece l’attenzione su compiti professionali che riguardano progetti architettonici, schemi ingegneristici e la preparazione di relazioni, presentazioni e fogli di calcolo.

Alla creazione di MKA hanno contribuito specialisti di 10 settori e 83 professioni. Il set di valutazione, composto da 200 compiti, è stato sviluppato con professionisti tra cui architetti, biologi, sottoscrittori e data scientist.

Compiti e valutazione

Il benchmark copre attività aziendali, edilizia, istruzione, ingegneria, finanza, sanità, diritto e pubblica amministrazione, logistica e cartografia, scienza, software e dati. Ogni compito è un progetto articolato in più fasi, che un professionista esperto impiegherebbe da tre a otto ore a completare.

Ogni compito combina un prompt realistico e un insieme di file di input multimodali con una griglia di valutazione redatta da esperti. Le griglie contengono circa 70 verifiche con risposta sì o no, ponderate per il 75% in base all’accuratezza fattuale e per il 25% in base alla progettazione visiva.

Artificial Analysis esegue ogni modello nello stesso ambiente open source per agenti, Stirrup, con gli stessi strumenti, la stessa sandbox e lo stesso budget di turni. Un valutatore costruito su un modello non di Google esamina ogni elaborato, aprendo i file, visualizzando le pagine, ispezionando le formule dei fogli di calcolo e confrontando il lavoro con la griglia degli esperti.

Google riferisce che gli esperti di settore, quando hanno valutato direttamente gli output dei modelli, si sono trovati d’accordo con il valutatore automatico nel 96% dei casi. Secondo Google, Artificial Analysis mantiene privato il set di valutazione da 200 compiti per evitare che questi finiscano nei dati di addestramento o che i modelli possano trovarli tramite la ricerca.

Un set separato di 10 compiti pubblici è disponibile su Hugging Face per consentire di esaminare il formato e testare i propri agenti.

Risultati e accesso

Il rapporto tecnico di Google illustra la metodologia e i risultati del benchmark. Secondo il rapporto, i modelli testati presentavano differenze sostanziali in termini di efficienza, utilizzando in media tra 30 e 130 turni per completare ogni compito; il rapporto afferma inoltre che sono necessarie solide capacità di percezione e descrive i tentativi falliti dei modelli di compensare l’assenza della visione.

Tra i modelli testati, Gemini 4 Carbon si è classificato secondo per qualità e ha completato i compiti a un costo medio sei volte inferiore rispetto al modello con il punteggio più alto, ha dichiarato Google. Il modello è disponibile tramite la Gemini API in Google AI Studio.