Imparare a ragionare ed esplorare in un mondo 3D

Abstract degli autori

Studiamo come i modelli visivo-linguistici (VLM) possano imparare a ragionare e a esplorare attivamente lo spazio 3D. Anziché fornire al modello immagini da più punti di vista, video o rappresentazioni 3D, manteniamo la codifica visiva nativa dei VLM: una sola immagine alla volta, proprio come gli esseri umani. Trattiamo la rappresentazione 3D soltanto come un ambiente con cui il modello può interagire attraverso azioni (per esempio, spostarsi a sinistra) e osservazioni (immagini renderizzate). Ogni rollout parte da una vista iniziale in prima persona e da una domanda visiva. Il modello può quindi ragionare, navigare e riorientare il proprio punto di vista in modo iterativo prima di formulare una risposta definitiva. Dopo un fine-tuning iniziale supervisionato su traiettorie, applichiamo l’apprendimento per rinforzo (RL) con ricompense determinate principalmente dalla correttezza della risposta finale. È fondamentale che l’RL non fornisca alcuna supervisione diretta sui punti di vista che il modello dovrebbe visitare né sulle azioni esplorative che dovrebbe compiere. Il modello deve invece apprendere una strategia di esplorazione efficace basandosi soltanto su quanto le sue interazioni migliorano le prestazioni. Su sei benchmark 3D, il nostro modello ACT3D raggiunge un’accuratezza media del 53,2%, migliorando del 22,0% le prestazioni del modello Qwen su cui si basa e superando il modello proprietario Gemini 3.6 Flash. ACT3D supera anche i metodi 3D open source esistenti pur utilizzando dal 50 al 70% di frame in input in meno, e generalizza a domini mai visti, con un miglioramento medio del 5,9% rispetto alla sua versione iniziale supervisionata. Ulteriori analisi rivelano un’esplorazione adattiva, condizionata dalla domanda. Il vantaggio rispetto al modello di base passa dallo 0,6% per le domande a cui si può rispondere dalla vista iniziale al 16,3% per quelle che richiedono un’esplorazione approfondita. ACT3D cerca gli obiettivi nascosti alla vista, evita esplorazioni inutili e acquisisce punti di vista complementari per i confronti spaziali. Questi risultati dimostrano che l’RL basato sui risultati consente ai VLM non solo di ragionare sulle evidenze visive, ma anche di imparare quando e come acquisirle.