AnyStep-WAM: distillazione calibrata sul budget e inferenza adattiva per i modelli mondo-azione

Abstract degli autori

I modelli mondo-azione (WAM) combinano la modellazione visiva predittiva con la generazione di azioni, affidandosi di norma a un denoising iterativo con un numero fisso di passaggi. Nei compiti di manipolazione, però, i blocchi di azioni hanno una sensibilità variabile agli errori di generazione: le azioni critiche richiedono precisione, mentre quelle meno sensibili possono essere generate più rapidamente, con meno passaggi di denoising. Presentiamo AnyStep World Action Model, un framework generale per la previsione con budget regolabile e l’allocazione delle risorse di calcolo in funzione della scena. La nostra distillazione delle traiettorie del modello insegnante, calibrata sul budget, addestra mappe di flusso condizionate all’intervallo usando transizioni esplicite del modello insegnante congelato e adattatori a basso rango condivisi. Consente così di generare azioni dalla previsione in un solo passaggio al perfezionamento in più passaggi. Su questa base, uno scheduler leggero che valuta rischi e benefici usa un’unica anteprima in un solo passaggio per prevedere la difficoltà in base alla curvatura del modello insegnante e la fedeltà del modello studente rispetto al modello insegnante per ciascun budget. Seleziona quindi il budget minimo che, secondo le previsioni, soddisfa i requisiti di fedeltà adattati al rischio. Valutiamo il nostro framework su tre WAM ampiamente utilizzati, Motus, FastWAM e LingBotVA, usando RoboTwin 2.0. Il nostro metodo riduce il numero medio di passaggi di denoising rispettivamente del 60,2%, del 49,8% e dell’85,28%, mantenendo i tassi di successo nei compiti dei modelli di riferimento. In particolare, l’addestramento AnyStep migliora sensibilmente le prestazioni dei modelli con un budget di un solo passaggio di denoising, aumentando i tassi di successo nei compiti rispettivamente del 7,07%, del 12,08% e dell’8,94% su Motus, FastWAM e LingBotVA. Esperimenti su sei compiti di manipolazione nel mondo reale ne confermano ulteriormente l’efficacia.