Dispiegare il mondo: scomporre le proprietà 4D per rafforzare il ragionamento spaziale

Abstract degli autori

Nonostante le notevoli capacità dei modelli visivo-linguistici (VLM) nei compiti multimodali generali, il loro ragionamento sul mondo fisico resta fondamentalmente «piatto». Sosteniamo che questo limite spaziale derivi da un profondo divario dimensionale: mentre i VLM vengono addestrati a interpretare proiezioni 2D, un autentico ragionamento spaziale richiede di ricostruire la geometria 3D latente e la continuità temporale. Per affrontare questa complessità ad alta dimensionalità, proponiamo di passare dall’apprendimento monolitico a un approccio «dividi e conquista». Presentiamo FactoSR, un framework di apprendimento per rinforzo scomposto in fattori che interpreta esplicitamente le dimensioni appiattite dalla proiezione visiva. FactoSR scompone il problema monolitico del ragionamento coerente con il mondo in tre sotto-obiettivi geometrici ortogonali: corrispondenza planare ($XY$), coerenza della profondità ($Z$) e reversibilità temporale ($T$). Ottimizzando questi vincoli verificabili nell’ambito di un meccanismo unificato di apprendimento della policy, trasformiamo di fatto un problema mal posto di ricostruzione delle proiezioni in una serie di passaggi di ragionamento concreti. Ampie valutazioni su benchmark multi-vista e video mostrano che questa scomposizione produce miglioramenti sostanziali nel ragionamento 3D e 4D, con un incremento del 5,9% su VSI-Bench e del 4,5% su All-Angles-Bench. I nostri risultati suggeriscono che rafforzare una coerenza 4D esplicita e scomposta in fattori sia un passo cruciale per rendere i VLM sistemi di ragionamento robusti e consapevoli del mondo.