Campionamento speculativo nella generazione interattiva di video

Abstract degli autori

La generazione interattiva di video si basa comunemente su piccoli blocchi bidirezionali per ridurre la latenza di risposta. I nostri esperimenti preliminari mostrano però che blocchi più grandi migliorano la qualità dei video e sfruttano meglio il parallelismo delle GPU, consentendo di campionare più variabili latenti con un aumento solo modesto del tempo di campionamento. Alla luce di queste osservazioni, proponiamo Speculative Sampling, una strategia che combina la capacità di modellazione di ampie finestre bidirezionali con l’interazione a bassa latenza consentita da finestre piccole. La strategia amplia la finestra di modellazione aggiungendo variabili latenti di rumore come riempimento e memorizza le predizioni risultanti per riutilizzarle quando la condizione rimane invariata. Le predizioni vengono fornite progressivamente, mentre il futuro non ancora confermato resta sostituibile. La nostra analisi della latenza mostra che questo elimina il limite inferiore del tempo di attesa imposto dai confini dei blocchi, spostando l’obiettivo dell’ottimizzazione dalla riduzione delle dimensioni dei blocchi all’accelerazione del campionamento di ciascun blocco. La dimensione della finestra bidirezionale diventa così una variabile decisionale per ottimizzare congiuntamente la qualità visiva e il tempo di campionamento, anziché un vincolo necessario per l’interazione a bassa latenza. Questo apre la strada all’impiego di modelli bidirezionali di grandi dimensioni nei sistemi di streaming interattivo senza un complesso post-training per lo streaming.