Capacità latente adattiva per i modelli del mondo

Abstract degli autori

Presentiamo Adaptive LeWorldModel (ALeWM), un modello del mondo basato su un’architettura predittiva a embedding congiunto (JEPA) che impara a concentrare le informazioni utili alla previsione nei prefissi compatti di un’ampia rappresentazione latente. Per favorire questo ordinamento, ALeWM apprende una distribuzione delle lunghezze dei prefissi condizionata alla sequenza e addestra il predittore a stimare l’intero embedding successivo a partire da un prefisso di input campionato. Poiché le funzioni obiettivo anticollasso standard favoriscono la variazione tra le coordinate latenti ma non le ordinano in base alla loro importanza per la previsione, presentiamo anche MixSIGReg. MixSIGReg regolarizza gli embedding mascherati rispetto a una miscela pesata secondo una distribuzione a priori, con prefissi attivi gaussiani e zeri nelle coordinate rimanenti. Di conseguenza, la funzione obiettivo di ALeWM favorisce la conservazione, nelle prime coordinate, delle informazioni utili alla previsione e alla pianificazione ricorsiva. La nostra analisi mostra che la distribuzione di miscela usata da MixSIGReg assegna una varianza maggiore ai primi blocchi di coordinate e una minore a quelli successivi. Mostriamo inoltre che, sotto determinate ipotesi, l’errore di previsione è minimo quando le informazioni più utili alla previsione sono collocate nei primi blocchi. Sul piano empirico, studiamo il comportamento di ALeWM in un sistema dinamico controllato con variabili di stato note e nel controllo visivo condizionato dall’obiettivo. Mostriamo che ALeWM ottiene sistematicamente tassi medi di successo più elevati rispetto a LeWM a larghezza fissa messo a punto, con una capacità di pianificazione mediamente inferiore.