BEAKER: un benchmark curato da esperti per cervelli incarnati nei laboratori chimici autonomi

Abstract degli autori

I laboratori chimici autonomi (SDCL) stanno orientando la sperimentazione chimica verso un’automazione incarnata, in cui le macchine devono percepire gli ambienti di laboratorio, ragionare sugli stati degli esperimenti e agire nel rispetto di vincoli fisici, procedurali e di sicurezza. Sebbene i modelli linguistici multimodali di grandi dimensioni (MLLM) siano sempre più considerati cervelli incarnati per questi sistemi, i benchmark esistenti per i laboratori si concentrano soprattutto sulla sicurezza, sul rilevamento delle anomalie o sulla comprensione scientifica generale, lasciando poco esplorate le loro capacità incarnate orientate all’esecuzione. Per colmare questa lacuna, presentiamo BEAKER, un benchmark per valutare la capacità d’azione incarnata, la conoscenza, la sperimentazione e il ragionamento nei laboratori chimici autonomi. BEAKER contiene 1.000 esempi di domande e risposte curati da esperti, suddivisi in 11 tipi di task su immagini e video, che coprono le valutazioni fondamentali per l’esecuzione di attività nei laboratori chimici: ancoraggio delle affordance, pianificazione delle traiettorie, riconoscimento di apparecchiature, stati e aspetti di sicurezza, allestimento degli apparati, ragionamento sul funzionamento e sulle fasi, e ragionamento temporale sulle procedure. Tutte le domande e le annotazioni sono state create e revisionate manualmente da esperti di chimica e di IA incarnata, senza ricorrere all’IA per la generazione o l’annotazione. Valutiamo 28 MLLM generalisti, orientati alle scienze, specializzati in chimica e incarnati, in una configurazione offline a turno singolo. I risultati mostrano che i modelli attuali riescono a seguire a grandi linee le procedure sperimentali mostrate nei video, ma faticano ancora ad ancorare le azioni a regioni operative e a traiettorie realizzabili, a riconoscere nel dettaglio le apparecchiature di laboratorio, gli stati e le norme di sicurezza, e a ordinare le fasi nelle procedure di media lunghezza. BEAKER evidenzia dunque una netta distanza tra la comprensione generale delle procedure e la percezione precisa, ancorata alle azioni, necessaria per eseguire attività di laboratorio, e offre un benchmark diagnostico per i futuri MLLM nei laboratori chimici autonomi.