D-JEPA: un modello latente del mondo allineato alle decisioni

Abstract degli autori

I modelli latenti del mondo prevedono le conseguenze delle azioni, ma una previsione accurata non garantisce che la distanza nello spazio latente rispecchi quale azione candidata sarà eseguita con successo. Individuiamo uno scarto di previsione locale alla decisione: tra i pochi futuri in competizione per essere realizzati, un’azione candidata che secondo le previsioni è più vicina all’obiettivo può produrre un risultato effettivo peggiore di quello di un’alternativa disponibile. Presentiamo D-JEPA, un modello latente del mondo allineato alle decisioni che apprende le relazioni rilevanti per la decisione tra i futuri delle azioni candidate a partire dagli esiti delle azioni eseguite. Un operatore limitato ed equivariante rispetto alle permutazioni ragiona congiuntamente sulle caratteristiche predittive relative all’obiettivo e sulle evidenze ordinali, affinando la geometria predittiva preaddestrata nei punti in cui la scelta delle azioni ha le conseguenze più rilevanti. Un adattamento limitato del predittore e un’interfaccia ordinale condivisa estendono questo allineamento a geometrie predittive complementari. D-JEPA incorpora inoltre la struttura decisionale appresa in rappresentazioni dei futuri compatibili con JEPA, consentendone l’impiego nella pianificazione nativa basata sulla distanza latente. Valutazioni condotte su controllo nello spazio latente, manipolazione, modelli preaddestrati che producono azioni, robot fisici e guida autonoma mostrano un miglioramento nella selezione delle azioni, tra cui un tasso di successo dell’87,89% su PushT, un guadagno medio di 15,04 punti su RoboTwin e un guadagno di 17 punti in compiti svolti da robot fisici. Questi risultati mostrano che la struttura relazionale rilevante per le decisioni costituisce un ponte diretto tra la modellazione predittiva del mondo e il controllo efficace.