H3-World: dalla comprensione del linguaggio al controllo del mondo

Abstract degli autori

Presentiamo H3-World, un framework efficiente che trasforma il generatore video MiniMax-H3 da 33B in un modello del mondo interattivo. La nostra scoperta principale è che, man mano che i grandi generatori video diventano più capaci, il linguaggio emerge come interfaccia naturale per il controllo. MiniMax-H3, per esempio, consente già di controllare zero-shot il comportamento dei personaggi e il movimento della telecamera tramite istruzioni in linguaggio naturale. Su questa base, H3-World trasforma questa interfaccia linguistica approssimativa in un controllo preciso del mondo, ancorato nel tempo, senza introdurre moduli dedicati alle azioni. Nello specifico, rappresentiamo ogni azione come una combinazione strutturata di istruzioni per il personaggio e per la telecamera, allineandole alle corrispondenti rappresentazioni latenti del video nel tempo. Per rendere il controllo temporalmente preciso, introduciamo inoltre l’instradamento temporale dell’attenzione, che limita ciascuna istruzione all’intervallo di tempo previsto e riduce le interferenze del controllo tra le azioni. H3-World riutilizza direttamente le rappresentazioni semantiche apprese durante il preaddestramento su larga scala con video e richiede solo un adattamento leggero. Con appena 8.000 campioni di gameplay, 10.000 passaggi di ottimizzazione LoRA e lo 0,199% di parametri addestrabili, H3-World ottiene un controllo efficace dei personaggi e della telecamera, preservando al contempo un’elevata qualità della generazione. Si generalizza inoltre a scenari mai incontrati. Questi risultati mostrano che le capacità di controllo emergenti nei grandi generatori video possono essere trasformate in modo efficiente in un controllo interattivo del mondo.