LabInstruct: un benchmark per la generazione di video istruttivi contestualizzati sulle procedure di laboratorio

Abstract degli autori

I laboratori autonomi (SDL) mirano ad automatizzare l’intero ciclo sperimentale, dalle decisioni scientifiche all’esecuzione materiale. Idealmente, i sistemi robotici potrebbero eseguire direttamente i piani generati dall’IA, ma un’automazione affidabile resta difficile negli ambienti di laboratorio complessi e aperti, dove gli esperimenti richiedono spesso manipolazioni precise, procedure articolate in molte fasi e presentano notevoli variazioni tra compiti e configurazioni. Gli esseri umani restano quindi un’importante interfaccia di esecuzione tra i piani generati dall’IA e gli esperimenti fisici: servono perciò indicazioni sperimentali chiare ed efficaci, destinate a chi deve svolgerli. Poiché le procedure di laboratorio hanno una natura visiva, spaziale e dinamica, il video è particolarmente adatto a comunicare le configurazioni delle apparecchiature, le azioni di manipolazione, le dipendenze temporali e i cambiamenti di stato. I recenti progressi nella generazione video rendono ora possibile creare dimostrazioni sperimentali direttamente da un’immagine iniziale dell’area di lavoro e da un’istruzione in linguaggio naturale. Non è stato però studiato sistematicamente se questi modelli siano in grado di comunicare in modo affidabile procedure di laboratorio reali. Presentiamo LabInstruct, un benchmark per la generazione di video istruttivi contestualizzati in laboratori reali. LabInstruct comprende 204 compiti in 5 discipline scientifiche, con esecuzioni reali di riferimento e annotazioni strutturate di oggetti, azioni, contatti e transizioni di stato. Valutando 8 modelli all’avanguardia che generano video a partire da immagini, riscontriamo che i video generati, pur essendo visivamente plausibili, sono spesso scorretti sul piano procedurale. Emerge così un divario significativo tra il realismo visivo e l’affidabilità necessaria per fornire istruzioni sperimentali.