Distillazione di rappresentazioni future per modelli d’azione del mondo senza immaginazione

Abstract degli autori

I World Action Models (WAM) sfruttano le conoscenze predittive dei modelli di diffusione video preaddestrati per controllare i robot tramite la previsione di video futuri. Tuttavia, il denoising iterativo dei video è costoso e previsioni visive imprecise possono compromettere la previsione delle azioni. La nostra idea fondamentale è rendere accessibili queste conoscenze predittive attraverso rappresentazioni visive calcolate a partire dall’osservazione corrente, consentendo di prevedere le azioni senza generare video futuri. Presentiamo DreamFree, un WAM che riutilizza un modello di diffusione video preaddestrato come encoder visivo predittivo mediante la distillazione delle rappresentazioni. L’encoder visivo impara a prevedere la rappresentazione di un modello di diffusione video congelato usando soltanto l’osservazione corrente. Un modulo d’azione viene quindi addestrato a prevedere le azioni estraendo dall’encoder visivo le informazioni rilevanti per l’azione. Nei compiti reali e simulati, DreamFree raggiunge tassi di successo superiori a quelli delle VLA e dei WAM all’avanguardia, svolgendo al contempo un controllo closed-loop in tempo reale a 11 Hz con un backbone di diffusione video da 14B. Gli esperimenti mostrano che DreamFree può tradurre prior video più forti e dati video aggiuntivi in un migliore controllo robotico e consentire l’apprendimento di nuovi compiti robotici da dimostrazioni video, compresi video con un embodiment diverso, senza annotazioni delle azioni per i nuovi compiti.