Lab2Sim: trasformare i video di esperimenti reali in esperimenti virtuali interattivi

Abstract degli autori

I video di esperimenti scientifici mostrano come vengono eseguiti gli esperimenti, ma non offrono ai discenti alcuna possibilità di interazione diretta. Per trasformarli in esperimenti virtuali, non basta riprodurre gli apparati osservati e i cambiamenti di stato: occorre anche far rispettare le precondizioni che regolano ciascuna operazione. Presentiamo Lab2Sim, un benchmark composto da 218 video di esperimenti scientifici, con specifiche basate su evidenze e 11.881 voci della rubrica di valutazione. Per affrontare questo compito, proponiamo EduVideo2Code, che estrae gerarchicamente le procedure sperimentali, le codifica come macchine a stati esplicite per guidare la generazione del codice e perfeziona le pagine risultanti attraverso una verifica basata sull’esecuzione. Gli esperimenti mostrano che i modelli multimodali esistenti generano facilmente pagine eseguibili, ma faticano a ricostruire fedelmente gli apparati sperimentali. EduVideo2Code migliora costantemente tutte e quattro le dimensioni di valutazione su due modelli backbone, con un aumento di 24,15 punti nella fedeltà degli apparati.