ALPS: encoder visivi dello stato per i modelli del mondo

Abstract degli autori

I modelli del mondo trasformano le rappresentazioni visive in previsioni e azioni. Sosteniamo che la loro base visiva debba combinare informazioni sullo stato fisico, allineamento nativo con il linguaggio e ricostruzione dei pixel, affinché un’unica rappresentazione possa supportare previsioni, istruzioni e ispezione. Gli encoder esistenti, però, si specializzano in genere in una o due soltanto di queste capacità. Presentiamo quindi ALPS, un encoder visivo dello stato preaddestrato che le riunisce tutte e tre in un unico insieme di token delle patch. Usando soltanto immagini statiche e testo, preaddestriamo da zero un ViT-B/16 con obiettivi relativi al linguaggio, alla ricostruzione e alla corrispondenza spaziale, per poi perfezionarlo tramite autodistillazione tra diverse viste. In una valutazione unificata di quindici encoder pubblici, ALPS ottiene il più basso errore aggregato delle probe dello stato su LIBERO tra i modelli ViT-B, eguagliando V-JEPA 2-L, che è 3,5 volte più grande, pur mantenendo un forte allineamento con il linguaggio e una ricostruzione accurata dei pixel. Nei compiti a valle, i token ALPS congelati raggiungono il più alto tasso medio di successo delle policy su LIBERO (85,5%) quando sono abbinati alla nostra torre testuale nativa; eguagliano o superano i principali encoder nella pianificazione con modelli del mondo su PushT, Wall e Granular; e consentono di decodificare direttamente in pixel i token futuri previsti per l’ispezione visiva. Ci auguriamo che questo lavoro contribuisca ad affermare il preaddestramento visivo come base comune per la comprensione, la previsione e l’azione nei modelli del mondo.