Hy-Nomas: verso la generazione interattiva di mondi in forma libera

Abstract degli autori

La generazione interattiva di mondi richiede modelli capaci di seguire comandi successivi, conservando la cronologia pertinente e le conseguenze delle azioni. Presentiamo Hy-Nomas, un modello video del mondo con un backbone di diffusione 8B che supporta istruzioni testuali in forma libera e il controllo continuo della telecamera attraverso più turni di interazione. Genera segmenti di lunghezza variabile in base agli input correnti e alla cronologia memorizzata nella cache. La nostra scelta progettuale centrale combina didascalie video strutturate e un meccanismo di attenzione causale che tiene conto delle azioni: il contesto descrittivo resta accessibile tra i segmenti, mentre le istruzioni relative alle azioni sono limitate alle finestre temporali cui sono destinate. Un Prompt Enhancer (PE) basato su visione e linguaggio traduce le richieste degli utenti e le cronologie di interazione multimodali in condizioni strutturate per il segmento successivo. Un percorso di addestramento in più fasi introduce progressivamente la generazione causale, l’interazione testuale, il controllo della telecamera e l’addestramento su cronologie generate dal modello, seguiti dalla distillazione della diffusione. Nella valutazione condotta da esseri umani, Hy-Nomas mostra prestazioni superiori a quelle dei modelli del mondo esistenti. Rendiamo disponibili i pesi del modello, il codice e i benchmark, insieme a una procedura leggera di adattamento, per sostenere la ricerca riproducibile sulla generazione interattiva di mondi.