The Pulse

Artificial Analysis pubblica i risultati di VIALS-AA sull’interpretazione di immagini scientifiche

L’articolo di lancio di VIALS-AA di Artificial Analysis riporta i risultati di test condotti su modelli linguistici con 161 compiti basati su immagini scientifiche. Gemini 4 Carbon (high) è in testa con un punteggio del 64%, mentre la valut

AI.info Team · Scritto con l’IA · verificato · 2026-11-07

VIALS-AA verifica se i modelli sanno interpretare immagini scientifiche

L’articolo di lancio di Artificial Analysis presenta i risultati di VIALS-AA al 6 novembre 2026. La sua implementazione del benchmark VIALS di Handshake AI verifica se i modelli linguistici sanno interpretare immagini scientifiche e rispondere a domande sugli elementi che contengono. Artificial Analysis esegue ciascuno dei 161 compiti del benchmark tre volte usando Stirrup, il suo framework di riferimento open source. Il framework mette a disposizione dei modelli strumenti per l’esecuzione di codice e l’ispezione delle immagini.

Gemini 4 Carbon (high) è in testa con un punteggio pass^3 del 64%

Gemini 4 Carbon (high) è in testa con un punteggio del 64%: ha risposto correttamente in tutte e tre le ripetizioni di 103 compiti su 161, due in più di GPT-6 Astra (max). La metrica principale di Artificial Analysis è pass^3, la quota di compiti risolti correttamente in tutte e tre le ripetizioni. Kimi K3.1 Pro (max) e GPT-6 Astra (max) risolvono ciascuno circa tre quarti dei compiti almeno una volta, mentre i loro punteggi pass^3 sono rispettivamente del 45% e del 63%. I tre principali modelli a pesi aperti risolvono almeno una volta un numero di compiti simile a quello dei sette modelli chiusi con i punteggi più alti: 114–119 contro 111–118; i modelli aperti superano tutte e tre le ripetizioni in 48–73 compiti, contro i 95–103 dei modelli chiusi.

Più turni e l’ispezione visiva non producono sempre risultati migliori

Il primo compito chiede ai modelli di individuare la macchia proteica 22 in un’immagine di elettroforesi su gel e stimarne l’intervallo di peso molecolare a partire dall’asse verticale. GPT-6 Astra (max) controlla l’immagine originale e un ingrandimento 4×, poi fornisce la risposta corretta, 40–50 kDa, in sei turni, senza misurazioni dei pixel né regolazioni del contrasto. Claude Sonnet 5.5 (max, with fallback) usa ritagli, controlli dei pixel, linee di riferimento e miglioramenti del contrasto prima di fornire lo stesso intervallo corretto in 18 turni. Grok 4.7 (xhigh) impiega 27 turni e visualizza l’immagine 20 volte, ma risponde 50–70 kDa; la risposta di riferimento è 40–50 kDa.

Artificial Analysis testa anche GLM-5.3 (max), che non dispone di capacità visive native, con gli stessi file di immagini e accesso all’esecuzione di codice. Nel percorso relativo alla macchia 22, GLM-5.3 (max) impiega 54 turni ed effettua 57 chiamate al codice, non visualizza alcuna immagine e risponde in modo errato. GLM-5.3-Flash (max) combina il codice con dieci visualizzazioni dell’immagine e conclude in 30 turni con l’intervallo corretto.

Le chiamate agli strumenti e i costi per compito variano notevolmente

L’analisi dell’uso degli strumenti copre 19 modelli e 9.177 esecuzioni. La visualizzazione delle immagini rappresenta il 38,3% delle chiamate agli strumenti, mentre la preparazione o la misurazione delle immagini, compresi la creazione di ritagli, il miglioramento delle visualizzazioni e l’estrazione di misurazioni dai pixel, rappresenta il 47,3%. La misurazione delle immagini costituisce il 5–6% delle chiamate agli strumenti per GPT-6 Astra (max) e GPT-6.1 Sol (max), contro il 25–27% per Claude Opus 5.5 (max) e Claude Sonnet 5.5 (max). Artificial Analysis riferisce che Gemini 3.8 Flash (high) è responsabile dell’86,7% delle chiamate di commento o senza operazione del gruppo: queste rappresentano il 5,6% delle sue chiamate agli strumenti, ovvero circa 3,8 delle sue 67,5 chiamate per compito.

Modelli in testa per ambito e costo per compito

Gemini 4 Carbon (high) è in testa, da solo o a pari merito, in tre degli otto gruppi di ambiti: mappe plasmidiche, filogenetica e citometria a flusso. Claude Opus 5.5 (max) è in testa nel blotting, Claude Sonnet 5.5 (max) nel conteggio cellulare, GPT-6.1 Terra (max) nella struttura e nel legame delle proteine, mentre GPT-6 Astra (max) condivide il primato nella struttura molecolare con GPT-6.1 Sol (max). Il costo medio per compito va da 0,02 dollari per GPT-6 Luna (max) a 1,77 dollari per Grok 4.7 (xhigh), una differenza di 99×. GPT-6.1 Sol (max) ottiene un punteggio del 59% a 0,06 dollari per compito, mentre Claude Sonnet 5.5 (max) ottiene il 60% e costa circa 18× tanto. Artificial Analysis calcola il costo per compito in base all’uso dei token e alle tariffe dei modelli, includendo tassi rappresentativi di riscontri nella cache ed escludendo le chiamate al modello valutatore.