Apprendere e ragionare con la geometria: come la generazione aiuta la comprensione spaziale

Abstract degli autori

I generatori di immagini e video possono produrre contenuti visivi coerenti dal punto di vista spaziale, ma resta poco esplorato come sfruttare questa capacità per migliorare la comprensione spaziale. Studiamo il problema da due prospettive: la supervisione geometrica durante l’addestramento e l’uso esplicito di evidenze geometriche durante l’inferenza. A questo scopo, presentiamo GeoUG, un modello unificato per la comprensione e la generazione geometrica che integra la generazione della profondità e di viste multiple con la comprensione spaziale. In primo luogo, progettiamo un codec di profondità multiscala che consente di generare profondità metrica usando un autoencoder visivo preaddestrato, e mostriamo che l’addestramento congiunto produce miglioramenti nella comprensione spaziale che variano a seconda del compito. In secondo luogo, introduciamo 3DCueBench per controllare la difficoltà geometrica mantenendo bilanciati determinati indizi 2D, e osserviamo che la profondità generata apporta maggiori miglioramenti nel ragionamento sulle domande che richiedono distinzioni geometriche di dettaglio. Sulla base di questo risultato, sviluppiamo un ragionamento intercalato adattivo: GeoUG formula prima una bozza di risposta, poi decide se generare evidenze geometriche per confermarla o rivederla. Addestriamo questo processo decisionale mediante apprendimento per rinforzo, bilanciando i miglioramenti di accuratezza rispetto al mantenimento della bozza con il costo della generazione. GeoUG raggiunge accuratezze circolari del 97,9%, del 90,8% e del 94,2% su CV-Bench-3D, 3DCueBench e DA-2K, con meno chiamate di generazione rispetto alla strategia di generare sempre.