CrossBFM: distillare uno spazio latente condiviso dei comportamenti tra diverse configurazioni corporee umanoidi

Abstract degli autori

I Behavior Foundation Models (BFM) forniscono agli umanoidi una politica controllabile tramite prompt, basata su uno spazio latente dei comportamenti: un unico vettore può rappresentare un movimento da imitare, una posa da raggiungere o una ricompensa da massimizzare. Le rappresentazioni Forward-Backward riescono a produrre spazi di questo tipo, ma richiedono centinaia di ore-GPU per un solo robot. Inoltre, ripetere l’addestramento per un secondo robot produce un secondo spazio, privo di relazione con il primo: le rappresentazioni latenti restano così specifiche per ciascuna configurazione corporea e non possono essere unificate né trasferite. Affrontiamo questi problemi con CrossBFM, considerando lo spazio latente come la risorsa trasferibile tra diverse configurazioni corporee. Poiché il retargeting fornisce una corrispondenza tra configurazioni corporee diverse a livello di singolo fotogramma, proponiamo un’architettura unificata di encoder, priva di parametri specifici per ciascun robot, che distilla lo spazio dei comportamenti per tutte le configurazioni corporee usate nell’addestramento contemporaneamente, in meno di un’ora-GPU. A valle dell’encoder, sistemi di tracciamento condizionati dalle rappresentazioni latenti trasformano lo spazio distillato nel controllo dell’intero corpo, con un addestramento PPO convenzionale che richiede appena altre 10 ore-GPU. Su tre umanoidi per i quali è stato distillato lo spazio dei comportamenti, si trasferiscono tutte e tre le modalità di controllo tramite prompt: nel tracciamento dei movimenti, la politica condizionata dalle rappresentazioni latenti registra uno scarto di soli $0.025$ rad rispetto alla controparte condizionata sulle articolazioni; il raggiungimento delle pose-obiettivo avviene con transizioni fluide e senza cadute; e la ricompensa viene ottimizzata per tutti i $41$ prompt relativi alla ricompensa. I nostri esperimenti mostrano inoltre che 1) addestrare l’encoder tramite regressione su un quarto del corpus di movimenti comporta una perdita di appena il $5\%$ nelle prestazioni di tracciamento e 2) addestrare l’encoder su un sottoinsieme di robot e valutarlo su uno mai visto permette di recuperare fino all’$89\%$ delle prestazioni di tracciamento ottenute sui robot già visti, dimostrando una capacità di generalizzazione tra configurazioni corporee di robot morfologicamente simili. Verifichiamo inoltre l’intera procedura su robot reali, con tutte e tre le modalità di controllo tramite prompt e con rappresentazioni latenti generate mediante metodi basati sui flussi. Sito del progetto: https://dotandung.github.io/crossbfm/