Indagare le rappresentazioni dello stato spaziale nei modelli fondazionali visivi

Abstract degli autori

Un osservatore vede solo una parte del mondo circostante, ma deve tenere traccia di ciò che si trova al di là del campo visivo attuale. La percezione spaziale, quindi, non consiste soltanto nel riconoscere singole immagini: richiede uno stato spaziale persistente, aggiornato durante il movimento dell’osservatore e usato per guidare l’azione. I modelli fondazionali visivi forniscono rappresentazioni in grado di supportare un simile stato? Esaminiamo la questione attraverso quattro livelli di capacità spaziale — struttura spaziale, persistenza degli oggetti, aggiornamento spaziale predittivo e azionabilità — usando sonde su feature congelate per dieci rappresentazioni, applicate a flussi di osservazioni egocentriche di ambienti interni statici. I profili delle capacità variano a seconda dei compiti, degli strati della rete e delle lunghezze dei prefissi: una buona decodifica della scena visibile non garantisce un’accurata persistenza degli oggetti né il recupero di feature future. Controlli appaiati distinguono l’accuratezza della decodifica dalla dipendenza dalla storia visiva e dal movimento. La previsione nativa del futuro conserva una struttura spaziale recuperabile, ma un decodificatore spaziale addestrato su feature reali non si trasferisce senza modifiche alle feature previste. Infine, la selezione di candidati dipendente dall’obiettivo non dimostra un’utilità affidabile per l’azione continua: le azioni previste rispondono ai cambiamenti dell’obiettivo, ma fornire l’obiettivo corretto non migliora i progressi in modo affidabile. Nei quattro livelli, la persistenza degli oggetti e l’azionabilità si basano sulla decodifica della posa della telecamera, mentre la previsione delle feature si basa sulla decodifica della scena visibile. Nel complesso, questi risultati suggeriscono di valutare le rappresentazioni spaziali non solo in base a ciò che è possibile decodificare da esse, ma anche chiedendosi se le informazioni vengano mantenute oltre l’osservazione, aggiornate in modo predittivo e utilizzate per azioni dirette a un obiettivo.