Apprendimento nativo di prior sulle azioni da video per i modelli di azione del mondo

Abstract degli autori

I modelli di azione del mondo integrano le dinamiche visive future con la previsione delle azioni dei robot, ma la loro scalabilità resta limitata dalla necessità di traiettorie robotiche annotate con le azioni. I video costituiti dalle sole osservazioni contengono molte informazioni sulle dinamiche delle interazioni, ma gli approcci esistenti li usano in genere per preaddestrare rappresentazioni visive da adattare poi al controllo, oppure per inferire azioni latenti da ricondurre successivamente a comandi per i robot. Presentiamo NAVA-WAM, che introduce l’apprendimento nativo di prior sulle azioni preaddestrando direttamente la policy d’azione su video costituiti dalle sole osservazioni, senza ricorrere al trasferimento indiretto dalle rappresentazioni al controllo né a un modello separato di azioni latenti. L’addestramento si svolge in due fasi. Nella prima, preaddestriamo il modello su video costituiti dalle sole osservazioni: la supervisione sulle transizioni visive tramite flow matching dei video futuri viene propagata attraverso un’attenzione congiunta strutturata per transizioni, per ottimizzare Action-DiT e apprendere prior pertinenti alle azioni. Nella seconda, usiamo dimostrazioni con azioni etichettate per addestrare ulteriormente Action-DiT al controllo robotico mediante flow matching congiunto video--azione; nel frattempo, un’attenzione asimmetrica separa il ramo visivo dalla rimozione iterativa del rumore dalle azioni e consente un’inferenza efficiente sulle sole azioni. Numerosi esperimenti mostrano che NAVA-WAM supera sistematicamente gli approcci precedenti sia in condizioni in distribuzione sia fuori distribuzione, dimostrando al contempo un’elevata efficienza nell’uso delle etichette delle azioni e un’efficace generalizzazione su robot reali. Questi risultati indicano che l’apprendimento nativo di prior sulle azioni è un approccio efficace per preaddestrare direttamente le policy d’azione da video costituiti dalle sole osservazioni, offrendo una via scalabile che non dipende dai soli dati robotici con azioni etichettate.