La fedeltà delle previsioni a un passo è un indicatore poco affidabile delle prestazioni di pianificazione nei modelli del mondo JEPA

Abstract degli autori

I modelli latenti del mondo vengono abitualmente selezionati, salvati come checkpoint e sottoposti ad ablazione in base alla perdita di previsione a un passo, sul presupposto che un modello capace di prevedere meglio la rappresentazione latente successiva sia un modello migliore. Nell’apprendimento per rinforzo basato su modelli, questo presupposto è notoriamente inaffidabile. Ci chiediamo se valga lo stesso per i modelli latenti del mondo, nei quali l’obiettivo dell’addestramento è l’embedding del modello stesso e la perdita non è espressa in unità interpretabili. Introduciamo un protocollo con decoder congelato che riporta l’errore a un passo in unità fisiche, distinguendo la parte già presente nella rappresentazione dell’encoder da quella aggiunta dal predittore. Lo applichiamo a un recente modello del mondo JEPA end-to-end in tre ambienti di controllo continuo: modifichiamo la metrica mediante fine-tuning e misuriamo la pianificazione condizionata a un obiettivo sugli stessi checkpoint, utilizzando sempre tre seed di addestramento e seed di pianificazione appaiati. In uno degli ambienti, una serie di misurazioni epoca per epoca mostra che la relazione si stabilizza dopo una sola epoca: la prima migliora la fedeltà del 32% e la pianificazione di 4,4 punti percentuali, ma nei quindici checkpoint successivi — durante i quali la fedeltà migliora di un ulteriore 15%, in modo monotono per ogni seed di addestramento — la correlazione tra errore a un passo e successo della pianificazione è r = -0,010. Non si tratta di un effetto dovuto al raggiungimento del limite di prestazione nel compito: suddividendo i risultati secondo una misura del supporto fornito dai dati di addestramento indipendente dal modello, la pianificazione nella fascia con il minor supporto parte dall’80%, lasciando ampio margine di miglioramento, eppure resta invariata dall’epoca 1 in poi. Anche tra ambienti il rapporto tra i due miglioramenti è instabile: una riduzione del 93% dell’errore su TwoRoom produce un calo di 0,7 punti percentuali nella pianificazione, mentre una riduzione del 40% su PushT produce un aumento di 4,9 punti percentuali [+1,1, +8,9]. Tutti i risultati si replicano con una misura che non richiede un decoder, la deriva latente. Mostriamo inoltre che un controllo comparabile basato sulla prosecuzione dell’addestramento spiega interamente il miglioramento di fedeltà che avevamo attribuito a un obiettivo ausiliario.