JEPA-Anything: apprendere modelli predittivi in mondi diversi

Abstract degli autori

La modellazione del mondo consente all’intelligenza di anticipare le conseguenze, guidare gli interventi e apprendere dall’interazione. Eppure, i modelli predittivi restano specifici per ciascun dominio: un principio di apprendimento comune può supportare la modellazione del mondo in sistemi radicalmente diversi? Presentiamo JEPA-Anything, un framework indipendente dal dominio basato sulla fattorizzazione predittiva ortogonale (OPF). Estendendo le architetture predittive a embedding congiunti, OPF scompone i target latenti in fattori complementari, li apprende attraverso percorsi dedicati e li ricombina in un’unica struttura predittiva condivisa. Valutiamo JEPA-Anything in sette domini: visione, biologia, traiettorie cliniche, controllo, dinamica molecolare, campi fisici e meteorologia. Gli esperimenti spaziano dall’apprendimento di rappresentazioni alla previsione degli interventi, dalla generalizzazione fuori distribuzione alla dinamica su orizzonti temporali lunghi, e includono 10 task di dinamica abbinati, la previsione di oltre 1.000 eventi clinici e rollout molecolari di 100 passi in quattro sistemi. Rispetto ai baseline JEPA abbinati, JEPA-Anything migliora le metriche riportate in tutti e 10 i task di dinamica e riduce del 34,8% l’errore di previsione di un singolo intervento su Interventional Pong. Ottiene gli errori più bassi, tra i metodi confrontati, nelle previsioni molecolari a un passo e a 100 passi in tutti e quattro i sistemi. Oltre alla previsione, un intervento biologico indicato da un fattore trova riscontro sperimentale in co-colture cellulari, organoidi derivati da pazienti, frammenti tumorali e topi; le modalità orbitali latenti recuperano l’esponente di scala kepleriano, con una pendenza stimata di -1,4991. Questi risultati avvalorano l’esistenza di un principio predittivo comune, basato sulla fattorizzazione, applicabile a mondi eterogenei, e collegano la modellazione del mondo agli interventi e alla scoperta scientifica fondata su evidenze sperimentali. Codice: https://github.com/Gen-Verse/JEPA-Anything