G$^3$VLA: bias induttivo geometrico per i modelli visione-linguaggio-azione

Abstract degli autori

I modelli visione-linguaggio-azione (VLA) hanno fatto progredire rapidamente la manipolazione robotica generalista sfruttando le conoscenze semantiche di componenti visione-linguaggio preaddestrati. Le loro rappresentazioni visive, tuttavia, si basano in genere sulle coordinate delle immagini 2D anziché sulla geometria calibrata delle telecamere. Il limite è particolarmente evidente nei sistemi con più telecamere, in cui le viste sono collegate da parametri intrinseci ed estrinseci noti, ma vengono elaborate come immagini indipendenti. Proponiamo G$^3$VLA, un modulo geometrico che tiene conto delle telecamere e introduce una struttura calibrata nel flusso di token visivi di un VLA preaddestrato, senza modificarne lo spazio delle azioni né l’obiettivo originario di apprendimento delle azioni. G$^3$VLA combina embedding dei raggi condizionati dai parametri intrinseci, codifica posizionale proiettiva (PRoPE) e fusione bidirezionale tra viste per ottenere rappresentazioni geometricamente coerenti tra le diverse telecamere. La supervisione geometrica è fornita da mappe di punti ground truth oppure da predizioni del teacher $π^3$X selezionate in base alla confidenza, consentendo l’addestramento senza sensori di profondità né annotazioni geometriche manuali. Con $π_0$, G$^3$VLA migliora sistematicamente le prestazioni su LIBERO e RoboCasa24 con entrambi i tipi di supervisione, mentre la supervisione ground truth migliora le medie su cinque task di RoboTwin2.0 con tre telecamere. Esperimenti su LIBERO-Goal con posizioni delle telecamere modificate e su robot reali mostrano una maggiore robustezza rispetto a punti di vista delle telecamere mai incontrati. Studi controllati sulla calibrazione condotti con $π_0$ e $π_{0.5}$ mostrano che questi miglioramenti dipendono dalla correttezza della geometria delle telecamere, pur rimanendo stabili in presenza di lievi perturbazioni della calibrazione. I risultati dimostrano che ancorare i token visivi dei VLA alla geometria calibrata delle telecamere offre un meccanismo semplice e generale per migliorare la coerenza geometrica, il ragionamento su più viste e la robustezza ai cambiamenti del punto di vista nelle policy robotiche preaddestrate.