WorldGuide: un modello del mondo basato su video e orientato agli obiettivi per l’esecuzione di compiti procedurali

Abstract degli autori

I generatori video e i modelli del mondo basati su video possono creare sequenze visive plausibili, ma i compiti procedurali di lunga durata richiedono che la generazione si adatti a ciò che è stato effettivamente prodotto. Un modello deve determinare l’azione successiva in base allo stato che ha generato, eseguirla e riconoscere quando il compito è completato. La generazione a ciclo aperto non può adattarsi agli esiti dell’esecuzione, mentre i sistemi a ciclo chiuso esistenti si affidano spesso a esecutori preaddestrati o a verifiche indirette. Resta così uno scarto tra la scelta di un’azione e la sua riuscita esecuzione. Formuliamo la generazione video procedurale come \emph{esecuzione di compiti a ciclo chiuso nello spazio visivo del mondo} e presentiamo \textbf{WorldGuide}. A partire soltanto da un’immagine iniziale e dall’obiettivo di un compito, WorldGuide prevede un’azione elementare, genera il video corrispondente e usa il risultato generato per scegliere l’azione successiva o terminare. Il Planner e l’Executor sono addestrati sulle stesse dimostrazioni procedurali suddivise in passaggi: il Planner impara a prevedere l’azione elementare successiva o il completamento del compito in base ai progressi visibili, mentre l’Executor è addestrato direttamente a eseguire le azioni previste. Una memoria visiva gerarchica mantiene lo stato durante l’esecuzione di lunga durata, limitando il costo in token della cronologia. Poiché mancano dati di supervisione che associno azioni e video a livello di singolo passaggio per l’addestramento congiunto di Planner ed Executor, presentiamo \textbf{WorldGuide Bench}: circa 59K video annotati a livello di singolo passaggio, relativi a 245 compiti e 27 categorie procedurali. WorldGuide raggiunge il 33,33\% di successo nei compiti su \textbf{WorldGuide-Bench}, contro il 29,90\% del recente e competitivo modello video MiniMax-H3, nonostante MiniMax-H3 riceva piani d’azione di riferimento. Su \textbf{VideoCraft-Bench} raggiunge il 47,69\%, contro il 32,73\% di MiniMax-H3, quando la generazione è condizionata soltanto dall’obiettivo. Questi risultati dimostrano l’importanza di associare la pianificazione a un’esecuzione appresa per generare video procedurali orientati agli obiettivi.