L’esecuzione prima della memoria: diagnosticare i problemi di memoria nei modelli del mondo video

Abstract degli autori

Un test della memoria per un modello del mondo video dovrebbe indicare se la scena è stata predisposta, se la modifica richiesta è stata eseguita e se l’ultimo fotogramma ne mostra il risultato. I test attuali accorpano questi aspetti in un unico numero, perciò è facile interpretare un punteggio basso come un segno di dimenticanza. Quando la modifica non viene eseguita, la transizione di stato nascosta non può manifestarsi: il test, quindi, non verifica davvero la memoria. Presentiamo MIST, una valutazione che distingue la modifica dalla memoria che dovrebbe lasciare. Il modello prima predispone la scena mentre la modifica resta nascosta; solo in seguito gli viene chiesto di mostrarla, tenendo sotto controllo le fughe di informazione prima di quel momento. Questa distinzione permette di individuare il limite: il modello predispone la scena, ma non esegue la modifica richiesta. Lo stesso divario emerge nelle valutazioni generali della memoria. Su questa base proponiamo M3-Agent (Make the Missing Move), che rivede ricorsivamente i dettagli dell’istruzione in input affinché il modello esegua correttamente l’istruzione richiesta. Rispetto alla baseline, il punteggio di rivelazione in MIST aumenta di oltre tre volte. Nei benchmark, il punteggio T di WRBench cresce del 26,1% e il punteggio U di MBench-T del 52,7%. Il metodo affronta il problema dal lato dell’esecuzione: mostra cosa può fare il modello congelato una volta che la mossa è esplicitata e stabilisce una baseline più rigorosa.