Distillazione del privilegio 3D instradato per il ragionamento spaziale nei modelli visione-linguaggio

Abstract degli autori

Il ragionamento spaziale resta un punto debole persistente dei modelli visione-linguaggio (VLM), perché gli input RGB non forniscono direttamente evidenze geometriche. Le soluzioni esistenti o introducono dati 3D nel modello durante l’inferenza, con costi in termini di architettura e latenza, oppure usano nell’addestramento ricompense basate sul risultato, che supervisionano soltanto la risposta finale. Gli errori spaziali hanno origine nella percezione: una valutazione errata della profondità o della direzione può essere corretta solo dalla geometria reale della scena, che le fonti scansionate in 3D dei corpora di addestramento per il ragionamento spaziale già forniscono. Proponiamo GPD (Geometry-Privileged Distillation), che usa le evidenze geometriche come informazioni privilegiate nell’autodistillazione on-policy (OPSD). Per ogni domanda, gli indizi di profondità, semantici e di vista dall’alto (BEV) sono resi in forma di testo compatto e instradati al modello docente insieme alla risposta di riferimento; un termine KL privilegiato, applicato solo alle traiettorie errate, integra GRPO, mentre il modello utilizzato resta basato esclusivamente su RGB. Con il backbone 4B, GPD ottiene 57,1 su VSI-Bench e una media di 37,6 su MindCube, SPARBench, MMSI-Bench e ViewSpatial, superando sia GRPO sia OPSD con accesso privilegiato alla risposta nei benchmark di ragionamento spaziale. Gli studi di ablazione confermano la complementarità tra l’accesso privilegiato ai dati 3D e quello alla risposta, il vantaggio dell’instradamento condizionato dalla domanda rispetto all’inserimento dell’intero contesto e il beneficio di limitare la distillazione alle traiettorie errate.