ActionSplice: modifica delle azioni in corso d’esecuzione nei modelli interattivi del mondo

Abstract degli autori

I modelli video del mondo autoregressivi per chunk condizionano generalmente ciascun chunk generato a una sola azione. Un’azione ricevuta durante il campionamento deve quindi attendere il chunk successivo, condizionare le successive valutazioni del solver a uno stato prodotto con l’azione precedente oppure innescare un rollback che ripete valutazioni già completate. Presentiamo ActionSplice, un framework di inferenza che formula il problema come Counterfactual State Transport (CST). Un correttore leggero trasporta la rappresentazione nativa del backbone, interrotta dall’arrivo della nuova azione, verso lo stato corrispondente indotto dall’azione modificata allo stesso passo del solver. Il modello del mondo e il campionatore restano invariati e il campionamento riprende senza ripetere le valutazioni già completate. La variante di retargeting $\mathrm{CST}*{R}$ aggiorna l’intero chunk attivo, mentre la variante di splicing temporale $\mathrm{CST}*{T}$ conserva un prefisso temporale e aggiorna solo il suffisso. Su minWM-Wan Action2V e HY-WM1.5, $\mathrm{CST}*{R}$ riduce l’LPIPS relativo al rollback del 61,5% e del 75,9% rispetto alla sostituzione diretta del condizionamento. $\mathrm{CST}*{T}$ riduce l’LPIPS del suffisso rispettivamente del 56,1% e del 77,5%, accelerando la disponibilità dei pixel di $2.73\times$ e $1.69\times$ rispetto all’attesa. Secondo il protocollo HY-WorldPlay, $\mathrm{CST}_{R}$ ottiene un PSNR di 25,66 dB, un SSIM di 0,6902 e un LPIPS di 0,1337 rispetto al rollout originale.