RynnVLA-Latent: far crescere i modelli fondazionali per la manipolazione robotica con azioni latenti ancorate al 3D

Abstract degli autori

La crescita dei modelli visione-linguaggio-azione (VLA) è limitata dalla scarsità di dimostrazioni con azioni etichettate e dall’incompatibilità degli spazi di controllo tra diverse configurazioni fisiche dei robot. Presentiamo RynnVLA-Latent, un framework che trasforma video eterogenei di interazioni in dati di supervisione utilizzabili su larga scala per il preaddestramento delle policy robotiche. Al centro del framework, RynnLAM apprende azioni latenti continue, ancorate al 3D, dalle transizioni visive senza richiedere i controlli nativi dei robot. Combinando la previsione residua delle caratteristiche future, una supervisione basata sul flusso 3D che compensa il movimento della fotocamera e la separazione del movimento della fotocamera, RynnLAM favorisce rappresentazioni che colgono i movimenti rilevanti per il controllo, anziché soltanto i cambiamenti nell’aspetto visivo. Applichiamo RynnLAM a 30,1K ore di video di esseri umani, robot e simulazioni, producendo 745,52M descrittori di azioni latenti. RynnVLA-Latent impara quindi, tramite flow matching, a prevedere sequenze di azioni latenti a partire da osservazioni visive e linguaggio, prima di adattare la propria backbone preaddestrata e l’esperto delle azioni alle azioni robotiche specifiche di ciascuna configurazione. La policy risultante, da 4B, raggiunge un tasso di successo del 98,8% su LIBERO, dell’84,7% su LIBERO-Plus senza adattamento specifico al benchmark, un tasso medio del 51,9% nelle cinque categorie di VLABench e un tasso medio dell’88,6% nel benchmark bimanuale RoboTwin 2.0. Ottiene inoltre i più alti tassi di successo osservati tra i metodi confrontati in sei compiti di manipolazione nel mondo reale, su piattaforme con mani robotiche dotate di destrezza e con pinze mobili. Insieme agli studi di ablazione sulle rappresentazioni e ai risultati relativi alla crescita dei dati, questi risultati dimostrano il potenziale della supervisione basata sulle azioni latenti per ampliare l’apprendimento delle policy robotiche oltre i dati nativi con azioni etichettate.