Il passato come stato, il presente come attenzione: flow matching a blocchi con stato persistente per generare movimenti che accompagnano il parlato su lunghi orizzonti temporali

Abstract degli autori

Generare movimenti che accompagnano il parlato su lunghi orizzonti temporali resta difficile, perché occorre mantenere la coerenza nel tempo e uno stile uniforme. I metodi esistenti generano in genere lunghe sequenze di movimento un segmento alla volta: o condizionano la generazione su una breve sequenza iniziale di frame recenti, che va gradualmente alla deriva, oppure conservano una storia esplicita sempre più lunga, costosa da mantenere e difficile da apprendere con dati limitati. Riconduciamo questi limiti a un’asimmetria fondamentale tra passato e presente: il movimento passato porta con sé uno stile che cambia lentamente e dovrebbe essere riassunto in forma compatta, mentre il segmento corrente presenta dinamiche locali che cambiano rapidamente e richiedono una modellazione dettagliata. Questa asimmetria suggerisce il semplice principio Past-As-State, Present-as-Attention per generare movimenti che accompagnano il parlato su lunghi orizzonti temporali. Seguendo questo principio, proponiamo PASPA, che riassume la storia passata in uno stato persistente tra i blocchi e modella il segmento corrente mediante self-attention bidirezionale all’interno di ciascun blocco. Realizziamo PASPA in un framework di flow matching a blocchi, con supervisione su più blocchi per un addestramento efficace su storie di lunghezza variabile, memorizzazione dello stato nella cache durante le fasi di prefill e decode per un rollout efficiente e classifier-free guidance ibrida per rafforzare il condizionamento sulla storia e sul parlato. Ampi esperimenti su benchmark pubblici mostrano che PASPA raggiunge prestazioni FGD all’avanguardia e preserva lo stile del movimento durante la generazione di lunghe sequenze.