ProAR: apprendere il ragionamento prospettico con modelli video autoregressivi

Abstract degli autori

I modelli video autoregressivi (AR) eccellono nella generazione causale, ma la dipendenza dalla previsione del segmento successivo li confina in un paradigma reattivo e incapace di guardare lontano. Questo limite è particolarmente rilevante per la generazione orientata al ragionamento, in cui raggiungere un risultato prefissato attraverso stati intermedi validi conta più della plausibilità visiva locale. Per affrontare questa sfida, proponiamo Learning Prospective Reasoning with Autoregressive Video Models (ProAR), un nuovo framework che trasforma la generazione video autoregressiva in un processo di ragionamento orientato a un obiettivo. ProAR introduce due componenti fondamentali: (1) Per ancorare la generazione al risultato a lungo termine, integriamo la previsione del fotogramma obiettivo nel ciclo autoregressivo tramite una maschera di attenzione asimmetrica. Il fotogramma obiettivo previsto può così guidare la generazione degli stati intermedi senza esserne influenzato. (2) Per guidare le transizioni a breve termine, introduciamo l’autoallineamento delle rappresentazioni future, che incoraggia gli stati nascosti correnti ad anticipare le dinamiche temporali successive. Sfruttando il teacher forcing nell’addestramento AR, estraiamo rappresentazioni future prive di interferenze in un unico passaggio in avanti e allineiamo a esse le rappresentazioni correnti mediante un predittore leggero, usato solo durante l’addestramento. Insieme, questi due meccanismi combinano senza soluzione di continuità una supervisione esplicita e sparsa basata sull’obiettivo con una guida implicita e densa a ogni passaggio, favorendo un ragionamento coerente e diretto all’obiettivo con un costo computazionale contenuto. Gli esperimenti mostrano che le componenti complementari di ProAR migliorano sistematicamente le prestazioni su diversi benchmark di ragionamento visivo. Il framework si dimostra molto efficiente nell’addestramento: supera le baseline AR standard addestrate completamente usando solo il 25% dei passaggi di addestramento. Questo paradigma mostra inoltre promettenti possibilità di applicazione ai compiti di ragionamento incarnato.