The Pulse
I modelli visivi leggono gli spazi interni meglio di quanto riescano ad agirvi
Un articolo sottoposto ad arXiv il 29 ottobre confronta dieci modelli fondamentali visivi su percezione spaziale, previsione e azioni dirette a un obiettivo. I modelli possono rivelare informazioni sulle scene di interni, ma i test offline
AI.info Team · Scritto con l’IA · verificato ·
Un articolo sottoposto ad arXiv il 29 ottobre rileva un divario tra ciò che i modelli fondamentali visivi possono rivelare sugli spazi interni e ciò che possono fare in modo affidabile con quelle informazioni. I ricercatori hanno testato le rappresentazioni congelate di dieci modelli, da DINOv2 e V-JEPA2 a generatori video e un modello del mondo, su compiti che vanno dalla lettura della geometria di una scena alla previsione di movimenti diretti a un obiettivo. Una buona prestazione in un compito non garantiva il successo nel successivo.
Lo studio, «Probing Spatial State Representations in Visual Foundation Models», considera l’abilità spaziale come qualcosa che va oltre il riconoscimento degli oggetti in una singola immagine. Si chiede se le caratteristiche di un modello conservino informazioni sugli elementi che escono dal campo visivo della telecamera, anticipino come cambia una scena mentre l’osservatore si muove e supportino azioni che consentono di progredire verso un obiettivo.
Quattro test, dalle scene visibili all’azione
Gli autori suddividono la capacità spaziale in quattro livelli: struttura spaziale, persistenza degli oggetti, aggiornamento spaziale predittivo e capacità di supportare l’azione. Le loro sonde leggono le caratteristiche da prefissi video causali, sequenze che includono viste passate e attuali, ma non fotogrammi futuri. I parametri sottostanti dei modelli rimangono congelati mentre sonde specifiche per ciascun compito apprendono quali informazioni possono essere estratte.
I test utilizzano traiettorie in ambienti interni con pose note, tratte da ScanNet++, un dataset di scene 3D. I ricercatori valutano la geometria e la coerenza tra viste, se una sonda riesce a localizzare un oggetto dopo che è uscito dal campo visivo, se riesce a recuperare le caratteristiche di una vista futura dato il movimento della telecamera e se riesce a prevedere un movimento verso un obiettivo. La configurazione misura le informazioni accessibili nelle caratteristiche dei modelli; non testa un robot che esegue un compito a ciclo chiuso.
«Infine, la selezione di candidati dipendente dall’obiettivo non dimostra un’utilità affidabile per le azioni continue: le azioni previste rispondono ai cambiamenti dell’obiettivo, eppure fornire l’obiettivo corretto non migliora i progressi in modo affidabile», scrivono gli autori. Baiqiao Yin, Zhongang Cai, Ruisi Wang, Qiwei Liang, Lei Yang e Ziwei Liu, «Probing Spatial State Representations in Visual Foundation Models»
Fast3R è in testa sulla persistenza, non sulla previsione
Nessun modello ha primeggiato in tutte le misure. Fast3R ha ottenuto il miglior risultato nella lettura della posa della telecamera e l’errore più basso nella localizzazione di oggetti visti in precedenza, pari a 32,79 gradi. DINOv2 è risultato primo nella previsione diretta delle caratteristiche future, mentre V-JEPA2 ha ottenuto i risultati migliori nell’integrazione del percorso, che testa gli aggiornamenti sequenziali lungo una traiettoria della telecamera. Gli autori riferiscono che, nei diversi modelli, la persistenza degli oggetti seguiva più da vicino la lettura della posa della telecamera rispetto alla profondità, all’identità delle istanze o alla coerenza tra viste.
Un contesto visivo più ampio non è stato automaticamente d’aiuto. Tutti gli otto modelli inclusi nel confronto tra prefissi hanno ottenuto risultati peggiori nella localizzazione degli oggetti con un prefisso di 24 fotogrammi rispetto a uno di otto. L’errore di localizzazione di VideoMAE è salito da 29,55 a 54,80 gradi. Gli autori avvertono che un prefisso più lungo cambia anche il punto finale della sequenza di osservazione, quindi il confronto non isola il solo effetto dell’aggiunta di informazioni precedenti.
Le previsioni sensibili all’obiettivo non hanno migliorato i progressi in modo affidabile
In un test sulle azioni, una sonda sceglieva tra due movimenti candidati della telecamera. La selezione diretta ha raggiunto un’accuratezza compresa tra il 75,9% e il 79,9%, superiore al valore di riferimento del 67,8% basato sulle sole azioni; Fast3R ha ottenuto il punteggio più alto. Un secondo test chiedeva però alle sonde di prevedere un movimento continuo anziché scegliere tra candidati. La quota di traiettorie con progressi positivi variava dal 50,2% al 59,8% e l’aggiunta dell’obiettivo non ha migliorato tale percentuale rispetto all’uso della sola vista corrente per nessuna delle quattro rappresentazioni testate.
La sostituzione dell’obiettivo corretto con un obiettivo di difficoltà equivalente tratto da un’altra scena ha modificato le direzioni previste di circa 30-46 gradi. Il cambiamento non ha però prodotto una differenza affidabile nei progressi o nella riduzione della distanza dall’obiettivo. L’articolo descrive questi risultati come analisi diagnostiche offline, non come prove di una strategia di navigazione funzionante.
Cosa mostra, e cosa non mostra, il benchmark
I risultati riguardano caratteristiche congelate, sonde addestrate e traiettorie statiche in ambienti interni. Lo studio non testa oggetti in movimento, la fisica del contatto o un robot che agisce in un ambiente reale. Osserva inoltre che alcune scene di validazione di ScanNet++ erano presenti nei dati di addestramento di Fast3R, il che potrebbe spiegare in parte i risultati di vertice di quel modello nella lettura della posa della telecamera, nella persistenza e nella lettura delle azioni.
Per chi sviluppa modelli, il risultato è un monito a non considerare un punteggio elevato in ambito spaziale come prova di una competenza spaziale generale. Riconoscere la geometria visibile, ricordare un oggetto fuori dall’inquadratura, prevedere una vista futura e scegliere un movimento utile sono capacità distinte. In questi test, il punteggio del 79,9% ottenuto da Fast3R nella selezione dei candidati non ha cancellato la distinzione: la sua sonda per le azioni continue ha compiuto progressi positivi nel 59,8% delle traiettorie e il benchmark è rimasto un test offline, non una dimostrazione di navigazione nel mondo reale.