Chiusura predittiva: una caratterizzazione della selezione delle caratteristiche da parte di JEPA a livello di insiemi

Abstract degli autori

Nelle architetture predittive a embedding congiunto (JEPA), un encoder e un predittore vengono addestrati insieme per produrre una rappresentazione che riduca al minimo l’errore nella previsione della rappresentazione dell’osservazione successiva. Poiché vengono apprese le rappresentazioni sia dell’osservazione corrente sia di quella successiva, non è chiaro quali caratteristiche includeranno. Le caratterizzazioni precedenti descrivono le caratteristiche selezionate da JEPA in termini della loro prevedibilità individuale, sollevando il timore che caratteristiche imprevedibili, come un semaforo, non vengano codificate nella rappresentazione. Tuttavia, sull’errore di previsione incidono anche le relazioni tra le caratteristiche: per esempio, il colore del semaforo aiuta a prevedere se il traffico si fermerà. Proponiamo una caratterizzazione basata sulla chiusura predittiva che tiene conto di queste relazioni. Riformulando l’obiettivo di addestramento di JEPA, mostriamo che la selezione dipende dalle proprietà degli insiemi di caratteristiche. Questa prospettiva concorda con gli studi precedenti quando le caratteristiche evolvono indipendentemente, ma porta a nuove previsioni quando non è così: per esempio, una caratteristica come il semaforo può comunque essere mantenuta. Mettiamo alla prova questa caratterizzazione con esperimenti controllati, che mostrano come le caratteristiche imprevedibili possano essere rappresentate meglio quando aiutano a prevederne altre e come modificare le relazioni predittive di una caratteristica possa influire sulla qualità della rappresentazione delle altre. Mostriamo inoltre le implicazioni per l’orientamento della selezione delle caratteristiche: concentrare un obiettivo ausiliario su una caratteristica, oppure fornirla al predittore come informazione aggiuntiva, può rafforzare la rappresentazione di un’altra caratteristica di cui aiuta a prevedere i valori futuri. L’orientamento può quindi essere indiretto.