Frechet Forcing: addestrare modelli del mondo per video in streaming su orizzonti lunghi a partire da brevi clip

Abstract degli autori

I modelli del mondo per video in streaming generano il futuro un segmento alla volta, condizionati dal proprio passato e da una sequenza di azioni. Quando vengono addestrati su brevi clip, iniziano a deviare se un rollout supera l’orizzonte di addestramento, perché gli errori di previsione rientrano nel contesto e si accumulano. Un rimedio comune consiste nell’addestrare il modello sui propri rollout mediante distillazione basata sulla corrispondenza delle distribuzioni (DMD). Per i modelli del mondo condizionati dalle azioni, il modello insegnante diventa un collo di bottiglia: un modello video esterno non tiene conto delle azioni, mentre la rete preaddestrata del modello stesso devia allo stesso modo del modello allievo. Osserviamo che un rollout lungo non deve necessariamente corrispondere a un modello insegnante, purché resti una continuazione realistica della propria scena e segua le azioni impartite. Il realismo e la fedeltà alla scena possono essere misurati rispetto alle statistiche dei dati reali, che restano valide a qualsiasi orizzonte, mentre il rispetto delle azioni è preservato dalla funzione di perdita della generazione condizionata del modello. Proponiamo Fréchet Forcing, che perfeziona un modello del mondo insieme al suo campionatore a più passaggi impiegato nell’uso effettivo, sotto tre vincoli. L’ancoraggio generativo applica la funzione di perdita del flow matching dopo una sequenza autogenerata che termina con dati reali. La fedeltà al contesto, misurata con una distanza di Fréchet (FD) sulle statistiche latenti del rollout libero centrate sui dati reali di riferimento di ciascuna clip, mantiene ogni rollout fedele alla propria scena. La corrispondenza con la realtà, misurata con una FD rispetto a fotogrammi reali in uno spazio percettivo i cui parametri restano fissi, mantiene realistici i fotogrammi generati. Poiché tutti e tre i riferimenti sono ricavati da brevi clip reali, senza confrontare un rollout con una lunga sequenza futura registrata, l’addestramento non richiede né un modello insegnante, né un valutatore online, né video lunghi. Il fine-tuning di MiniWorld-1B, preaddestrato su clip di 253 fotogrammi, per non più di 36 ore GPU su clip di 381 fotogrammi produce rollout che restano stabili oltre 4.000 fotogrammi e continuano a seguire le azioni impartite sia nella manipolazione robotica sia nell’esplorazione controllata tramite telecamera.