OSWAM: un efficace modello d’azione del mondo con generazione di azioni in un solo passaggio

Abstract degli autori

I modelli d’azione del mondo a policy diretta (WAM) hanno dimostrato i vantaggi di separare la generazione delle azioni dalla previsione esplicita del futuro visivo, per un’inferenza efficiente nella guida autonoma e nel controllo embodied. Tuttavia, richiedono ancora decine di passaggi di denoising per ottenere una qualità delle azioni competitiva, con una latenza considerevole che ostacola l’impiego in tempo reale. Ridurre semplicemente il numero di passaggi di denoising comprime la traiettoria non lineare di denoising in più passaggi in aggiornamenti grossolani, degradando notevolmente la qualità delle azioni. Per ridurre i passaggi di denoising e al tempo stesso consentire la generazione di azioni in tempo reale, presentiamo un efficace modello d’azione del mondo con generazione di azioni in un solo passaggio, denominato OSWAM, per la guida autonoma e il controllo embodied. Sosteniamo che sia l’assenza di priors strutturati sulle azioni nell’inizializzazione con rumore casuale a costringere i WAM a policy diretta a recuperare sequenze di azioni coerenti tramite denoising iterativo. Per questo, costruiamo token di immaginazione per inizializzare il processo di diffusione, fornendo priors fisici e rappresentazioni condizionate dalle azioni. Introduciamo inoltre la distillazione di informazioni privilegiate con condizionamento sul futuro, per migliorare la generazione di azioni informata sul futuro. Di conseguenza, OSWAM è in grado di generare azioni di alta qualità in modo efficiente ed efficace in un solo passaggio di diffusione. I nostri esperimenti dimostrano che OSWAM ottiene risultati comparabili o persino migliori sia nella guida autonoma sia nel controllo embodied rispetto ai WAM a policy diretta e a Joint-WAM, che richiedono decine di passaggi. Offre un’accelerazione di circa $3\times$ rispetto ai modelli di riferimento WAM a policy diretta e supporta l’inferenza compilata in tempo reale, con una latenza minima di 40 ms su una GPU NVIDIA RTX 5090. La pagina del progetto è disponibile all’indirizzo https://gwenzhang.github.io/OSWAM/