VideoMaMa++: video matting temporalmente coerente tramite token di preservazione e rifinitura

Abstract degli autori

Il video matting basato sulla diffusione si è recentemente affermato come uno degli approcci principali: sfrutta le conoscenze pregresse sulla diffusione video acquisite con il preaddestramento su scala internet per ottenere una forte capacità di generalizzazione zero-shot a partire da una quantità limitata di dati sintetici. Tuttavia, gli elevati requisiti di calcolo di questi modelli di diffusione limitano l’inferenza a brevi segmenti di appena 6-24 fotogrammi, perciò anche i video ordinari si estendono su più segmenti. Poiché il matting di ciascun segmento viene eseguito indipendentemente sulla base di maschere approssimative, i metodi esistenti non riescono a mantenere la coerenza tra un segmento e l’altro, producendo bordi tremolanti e discontinuità nella trasparenza. Affrontiamo il problema con un framework di matting basato sulla diffusione e guidato da maschere, fondato su due idee. Le informazioni RGB e quelle delle maschere sono rappresentate come flussi di token separati che interagiscono tramite una self-attention spazio-temporale completa. Il modello può così combinare in modo adattivo le trame dettagliate RGB con la disposizione approssimativa delle maschere, anziché affidarsi a una fusione fissa per canale. Proponiamo inoltre una nuova coppia di embedding apprendibili, il token di preservazione e il token di rifinitura, che fungono da interfaccia di condizionamento per ciascun fotogramma. Questi token consentono uno schema di inferenza a finestra scorrevole in cui le mappe di opacità già generate vengono propagate tra i segmenti per garantire la coerenza temporale locale. A ciò si affianca, in ogni segmento, un’ancora di riferimento condivisa globalmente, che impedisce l’accumulo degli errori nelle sequenze lunghe senza alcun addestramento aggiuntivo. Sui benchmark standard di video matting e su lunghi filmati ripresi in condizioni reali, il nostro framework supera i precedenti metodi basati sulla diffusione sia nella precisione dei dettagli fini sia nella coerenza temporale, ed è l’unico a mantenere la coerenza tra i segmenti nei video lunghi.