La generazione video incontra l’harness per agenti: generazione video agentica, modellazione agentica del mondo e auto-miglioramento ricorsivo

Abstract degli autori

La generazione video si sta spostando dalla sintesi end-to-end verso una generazione agentica, in cui pianificazione, uso di strumenti e feedback consentono di creare video coerenti e controllabili con più inquadrature. Parallelamente, i modelli video del mondo forniscono osservazioni condizionate dalle azioni e previsioni degli sviluppi futuri, fungendo da ambienti interattivi per gli agenti. Studiamo il punto d’incontro tra questi due ambiti attraverso l’harness per agenti: un ambiente di esecuzione che costruisce il contesto, mette a disposizione strumenti, mantiene lo stato, instrada il feedback e gestisce i budget attorno ai modelli video. Questo rapporto esamina tre direzioni. La prima è la generazione video agentica, in cui gli harness coordinano la stesura delle sceneggiature, la pianificazione delle inquadrature, la gestione delle risorse, la produzione e il montaggio, insieme alle sfide di valutazione di questi sistemi. La seconda è la modellazione agentica del mondo, in cui gli harness mediano osservazione, controllo, esecuzione e stato. Discutiamo architetture ibride in cui motori di gioco o programmi scritti dagli agenti mantengono lo stato del mondo, mentre i modelli video ne generano le osservazioni, e analizziamo come agenti e modelli del mondo possano valutarsi e migliorarsi a vicenda. La terza direzione è l’auto-miglioramento ricorsivo (RSI) nello sviluppo dei modelli video: distinguiamo tra revisioni degli output, aggiornamenti dello stato dell’harness, dei parametri del generatore e dei valutatori, e modifiche alla procedura di miglioramento stessa. Individuiamo come questi miglioramenti alimentino lo sviluppo successivo. In tutte queste direzioni, analizziamo le capacità essenziali degli agenti, tra cui la percezione audiovisiva, la pianificazione a lungo orizzonte, la memoria, l’interazione basata sul codice, il controllo guidato dal feedback, il riuso delle competenze e il coordinamento tra più agenti. Concludiamo esaminando le sfide legate alla produzione video autonoma, alla memoria persistente nel tempo, al controllo ibrido programmabile, allo sviluppo autonomo dei modelli, alla provenienza, alla rendicontazione dei costi e a valutazioni che colleghino la qualità dei video e le prestazioni nei compiti ai miglioramenti duraturi dei modelli e degli harness.