AcrossVAM2.0: supervisione tramite punti consapevole dei conflitti per l’adattamento efficiente in termini di parametri dei modelli di diffusione video

Abstract degli autori

La corrispondenza esplicita tra punti è utile per adattare i generatori video: descrive come si muovono le superfici visibili, ma può sovrascrivere il prior sull’aspetto appreso da un grande modello preaddestrato. Studiamo questa tensione in un transformer di diffusione da testo a video con 5,01 miliardi di parametri. ACROSSVAM2.0 combina una testa di tracking e visibilità ponderata per confidenza, un feedback residuo inizializzato a zero e PCGrad asimmetrico, che rimuove soltanto la componente ausiliaria che si oppone al gradiente primario di flow matching sui parametri LoRA condivisi. Il design mantiene il generatore esattamente invariato all’inizializzazione e protegge il suo aggiornamento primario durante l’adattamento. In un’ablazione a quattro configurazioni, addestrata per 1.000 passi con tre seed indipendenti, il metodo completo riduce l’errore del ciclo KLT avanti-indietro in tutti e tre i seed rispetto a una continuazione abbinata basata solo sul flusso (differenza media a livello di seed: -0,00711; deviazione standard: 0,00505), mentre la nitidezza robusta resta positiva in tutti e tre. Una valutazione ampliata su 24 prompt (216 video) rileva un errore aggregato del ciclo CoTracker3 inferiore del 9,7% rispetto al controllo abbinato e prestazioni pressoché equivalenti su sei dimensioni VBench; tuttavia, l’effetto sul tracking a livello di seed è eterogeneo e I3D-FVD peggiora, passando da 0,1824 a 0,2022. Questi risultati supportano un’affermazione circoscritta: l’adattamento consapevole dei conflitti migliora la coerenza delle corrispondenze senza causare un ampio degrado percettivo, ma non migliora in modo uniforme la qualità video. Rendiamo disponibili equazioni, pseudocodice, output abbinati, tabelle sorgente e provenienza degli artefatti.