SLA: scalare il modello spazio-linguaggio-azione con il pre-addestramento continuo

Abstract degli autori

Una manipolazione robotica affidabile richiede sia comprensione semantica sia controllo preciso nello spazio tridimensionale. Tuttavia, i modelli fondazionali visione-linguaggio-azione (VLA) ereditano in larga misura rappresentazioni visive dal pre-addestramento visione-linguaggio in 2D, mentre la supervisione spaziale viene spesso introdotta solo durante l’adattamento specifico al compito. Sviluppare la comprensione spaziale come capacità trasferibile dei modelli fondazionali richiede quindi di apprendere da esperienze robotiche più ampie. Presentiamo SLA, un modello spazio-linguaggio-azione che estende l’allineamento spaziale implicito al pre-addestramento continuo e lo mantiene durante il post-addestramento downstream. Inizializzato a partire da una policy pi05 preaddestrata, SLA ottimizza congiuntamente la previsione delle azioni e l’allineamento tra gli embedding visivi intermedi e le rappresentazioni spaziali provenienti da un modello di percezione 3D congelato. Raccogliamo e uniformiamo dataset robotici eterogenei per supportare l’apprendimento spaziale in embodiment, compiti e scene diversi. Per adattarsi a questa varietà, introduciamo gate dipendenti dalle caratteristiche che aggregano in modo adattivo gli embedding visivi provenienti da più livelli VLA, ai fini della supervisione spaziale. Il modello insegnante sfrutta inoltre dati di profondità e calibrazione della videocamera disponibili solo in parte, insieme alle osservazioni RGB, consentendo di usare efficacemente annotazioni geometriche eterogenee. Il dropout probabilistico dello stato incoraggia il ricorso agli indizi visivi e attenua l’overfitting alle traiettorie dimostrative. Tutti i componenti ausiliari vengono usati solo durante l’addestramento, consentendo il riutilizzo diretto dei pesi VLA preaddestrati e preservando l’architettura originale di inferenza.