SWAM: scalare i modelli di azione del mondo con l’allineamento cross-modale

Abstract degli autori

I modelli di azione del mondo prevedono congiuntamente video e azioni condizionati dal linguaggio. Gli studi esistenti si concentrano soprattutto sulle architetture e sui meccanismi di addestramento, trattando in genere l’allineamento tra linguaggio e video acquisito durante il pretraining video come una base consolidata. Tuttavia, introdurre l’apprendimento delle azioni può compromettere questo allineamento. Le indicazioni basate su principi per progettare dati e supervisione in modo da mantenere l’allineamento tra linguaggio e video durante l’apprendimento delle azioni restano limitate. Per approfondire la questione, abbiamo raccolto un insieme di circa 47.000 ore di video generici, video egocentrici, dimostrazioni UMI e dimostrazioni robotiche. Su questa base, studiamo sistematicamente come la supervisione linguaggio-video, quella linguaggio-video-azione e l’uso congiunto di queste due forme influiscano sulle prestazioni dei WAM. In particolare, esaminiamo come la qualità delle annotazioni linguistiche influisca sulle capacità linguaggio-video acquisite nel pretraining e come la supervisione delle azioni fornita dalle dimostrazioni UMI e robotiche estenda queste capacità alla modellazione linguaggio-video-azione. Per scalare meglio il modello, conduciamo inoltre studi dettagliati sulla ricetta di addestramento congiunto e sull’architettura del modello. A parità di budget di addestramento, combinare video egocentrici e dimostrazioni UMI migliora la generalizzazione del controllo. L’architettura del modello influisce sull’efficacia con cui vengono sfruttate queste esperienze, mentre aumentare la scala del pretraining con la configurazione selezionata porta ulteriori miglioramenti. La ricetta risultante, sottoposta a post-training solo sulle dimostrazioni RoboTwin Clean, raggiunge tassi di successo dell’88,10% e del 61,56% rispettivamente nelle condizioni Easy (Clean-to-Clean) e Hard (Clean-to-Random). Il nostro modello raggiunge un SR del 40,00% su tre attività nel mondo reale, contro il 23,33% della baseline più forte, indicando una migliore generalizzazione in condizioni non viste. Rendiamo disponibili i dati raccolti, il codice di addestramento e i pesi del modello.