MatAnyone-E: propagazione sparsa della memoria per un matting video efficiente ad alta risoluzione

Abstract degli autori

Il matting video ad alta risoluzione richiede di preservare i dettagli più fini, come le ciocche di capelli e le trasparenze sfumate, mantenendo al tempo stesso la coerenza tra i fotogrammi. I metodi basati sulla memoria ottengono un’elevata qualità del matting confrontando le caratteristiche del fotogramma corrente con le informazioni conservate dai fotogrammi precedenti, ma il costo di questo processo cresce all’aumentare della risoluzione. Presentiamo MatAnyone-E, un’estensione efficiente di MatAnyone 2 che concentra i calcoli dove sono più necessari. Il nostro approccio esegue dapprima una propagazione a bassa risoluzione per individuare le regioni incerte che richiedono un esame più approfondito e i dati in memoria più pertinenti per quelle regioni. Esegue poi il matching ad alta risoluzione solo per queste regioni, usando i dati selezionati dalla memoria, e riutilizza altrove i risultati del matching a bassa risoluzione. Questa strategia riduce sia il numero di posizioni che richiedono un matching dettagliato sia la quantità di dati in memoria da esaminare, preservando le informazioni necessarie per produrre un matte completo. Riduciamo inoltre il costo della generazione di matte ad alta risoluzione con un decoder leggero, progettato sulla base dei colli di bottiglia misurati nei tempi di esecuzione e addestrato a riprodurre le rappresentazioni del decoder originale. Gli esperimenti mostrano che MatAnyone-E mantiene una qualità del matting paragonabile a quella di MatAnyone 2, con una velocità di inferenza stimata 7,4 volte superiore e un utilizzo massimo della memoria GPU pari al 7,6% di quello di MatAnyone 2 a 4K. Con l’inferenza che sfrutta la compilazione su una singola GPU NVIDIA H200, raggiunge 73,07 FPS a 1080p e 28,62 FPS a 4K.