Slot-JEPA: interfacce di predizione strutturate per oggetti per modelli latenti del mondo

Abstract degli autori

Le Joint-Embedding Predictive Architectures (JEPA), un esempio di modello latente del mondo, producono rappresentazioni semantiche efficaci. Tuttavia, le rappresentazioni dense a patch offrono ai predittori a valle un’interfaccia ridondante: questi devono inferire implicitamente l’organizzazione spaziale e la corrispondenza temporale, con tre difficoltà. In primo luogo, le informazioni sugli oggetti sono distribuite tra le patch, costringendo ogni predittore a valle a ricostruire la struttura degli oggetti prima di modellare le interazioni, anziché poterla riutilizzare tra compiti diversi. In secondo luogo, l’assenza di una corrispondenza esplicita tra entità nel tempo rende onerose le transizioni passate e limita la flessibilità del predittore nell’utilizzare il contesto. In terzo luogo, senza una struttura di trasporto esplicita, i modelli JEPA esistenti usano in genere distanze puntuali l1/l2, insensibili agli spostamenti spaziali quando i supporti della previsione e dell’obiettivo sono in gran parte disgiunti. Proponiamo la Slot-based Joint-Embedding Predictive Architecture (Slot-JEPA), che scompone le rappresentazioni dense in slot semantici stabili e maschere spaziali variabili nel tempo. Preaddestrata una sola volta e poi mantenuta fissa a valle, questa scomposizione offre un’interfaccia strutturata per oggetti riutilizzabile. Su questa base, il nostro Transition Memory Predictor (TMP) memorizza le transizioni visive come maschere compatte e recupera il contesto utile usando statistiche degli slot corrispondenti. I suoi due rami separano le dinamiche specifiche di ciascuno slot da quelle condivise tra gli slot. Usiamo inoltre l’Unbalanced Optimal Transport (UOT) per supervisionare la predizione delle maschere e valutare i piani candidati trasportando massa tra le maschere previste e quelle dell’obiettivo allineate, ottenendo un segnale più coerente con il progresso spaziale. In sette benchmark di comprensione visiva, le caratteristiche ricostruite dagli slot restano trasferibili. Slot-JEPA migliora anche la pianificazione condizionata all’obiettivo in sei ambienti planari e in quattro compiti di pianificazione per bracci robotici nel benchmark REALM-JEPA.