The Pulse
Un preprint su BEAKER rileva che i modelli multimodali faticano ad ancorare le azioni al contesto nei laboratori chimici
Un preprint presenta BEAKER, un benchmark per testare i modelli multimodali nei laboratori chimici autonomi. La valutazione rileva che i modelli riescono a seguire a grandi linee le procedure sperimentali nei video, ma hanno difficoltà ad a
AI.info Team · Scritto con l’IA · verificato ·
I modelli attuali riescono a seguire a grandi linee le procedure sperimentali nei video, ma faticano ancora ad ancorare le azioni a zone operative e traiettorie realizzabili. Sono i risultati di BEAKER, un preprint che presenta un benchmark per i modelli linguistici multimodali di grandi dimensioni, considerati come cervelli incarnati per i laboratori chimici autonomi. Il preprint è stato presentato ad arXiv il 4 novembre 2026 e, secondo la scheda su arXiv, è stato accettato da NeurIPS 2026 nella Track on Evaluations and Datasets come Spotlight.
Laboratori autonomi e automazione incarnata
I laboratori chimici autonomi, abbreviati in SDCL, stanno portando la sperimentazione chimica verso l’automazione incarnata. Le macchine di questi sistemi devono percepire le scene di laboratorio, ragionare sugli stati degli esperimenti e agire nel rispetto di vincoli fisici, procedurali e di sicurezza. Il preprint riferisce che i modelli linguistici multimodali di grandi dimensioni sono sempre più spesso considerati per il ruolo di cervelli incarnati in tali sistemi.
I benchmark di laboratorio esistenti riguardano principalmente la sicurezza, il rilevamento delle anomalie o la comprensione scientifica generale, scrivono gli autori. Secondo loro, le capacità incarnate orientate all’esecuzione hanno ricevuto meno attenzione. In un esperimento chimico, riconoscere una beuta, il livello di un liquido o un tubo collegato non basta di per sé: il sistema deve anche valutare se l’apparato è pronto per essere utilizzato, se un collegamento consente di eseguire il passaggio successivo e se un cambiamento indica un normale avanzamento o un possibile guasto.
Un benchmark di compiti selezionati da esperti
BEAKER contiene 1.000 coppie di domande e risposte, suddivise in 11 tipi di compiti su immagini e video: sette basati su immagini e quattro su video. Il benchmark è progettato per verificare le valutazioni necessarie all’esecuzione delle attività di laboratorio, tra cui la localizzazione delle possibilità d’azione e la pianificazione delle traiettorie; il riconoscimento delle apparecchiature, degli stati degli esperimenti e degli aspetti di sicurezza; l’allestimento degli apparati; il ragionamento sulle operazioni e sui passaggi; e il ragionamento sulla sequenza temporale delle procedure.
Le domande si basano su oltre 10.000 immagini e video reali, pubblicamente disponibili, relativi a laboratori chimici. La maggior parte dei campioni proviene da riprese in prima persona o da punti di vista legati all’esecuzione degli esperimenti e copre una varietà di scene e banchi di lavoro di laboratorio. Esperti di chimica e di intelligenza artificiale incarnata hanno selezionato, verificato e annotato congiuntamente i campioni. Le domande sono state scritte da esperti umani per contesti di esecuzione in laboratorio chimico, senza strumenti di IA per la selezione dei campioni, la generazione delle domande o l’annotazione.
Modelli testati offline
Gli autori hanno valutato 28 modelli multimodali, comprendenti sistemi generici, orientati alla scienza, specializzati in chimica e incarnati. La valutazione è stata condotta offline e in un unico turno. Secondo il preprint, i modelli riescono a seguire a grandi linee l’avanzamento degli esperimenti nei video, ma hanno difficoltà a formulare le valutazioni più precise necessarie per l’esecuzione.
Tra le debolezze segnalate figurano l’ancoraggio delle azioni a zone operative e traiettorie realizzabili, il riconoscimento degli apparati e degli stati di laboratorio nei loro dettagli e l’identificazione delle norme di sicurezza. I modelli hanno anche avuto difficoltà a mettere in ordine i passaggi di procedure di media lunghezza. I risultati distinguono la capacità di seguire una procedura a grandi linee da quella di interpretare i dettagli visivi e temporali necessari per svolgere il lavoro di laboratorio in modo sicuro e corretto.
Uno strumento diagnostico per il lavoro futuro
Gli autori scrivono: «BEAKER rivela così un chiaro divario tra la comprensione delle procedure a grandi linee e la percezione precisa e ancorata alle azioni necessaria per l’esecuzione in laboratorio, fornendo un benchmark diagnostico per i futuri MLLM negli SDCL». Il benchmark è destinato a valutare queste capacità orientate all’esecuzione, anziché limitarsi alla comprensione scientifica generale o al riconoscimento degli oggetti. Le sue categorie di compiti comprendono la percezione delle azioni possibili, la conoscenza delle apparecchiature e degli stati, la comprensione delle operazioni sperimentali e il ragionamento sui cambiamenti nel tempo e sugli esiti delle procedure.