LensErase: un modello fondazionale per cancellare qualsiasi cosa

Abstract degli autori

Presentiamo LensErase, un modello fondazionale di uso generale basato su maschere, progettato per coprire un’ampia gamma di scenari di cancellazione reali. LensErase consente di rimuovere oggetti di vario tipo, testo nelle immagini, filigrane, effetti visivi associati e più oggetti insieme, e supporta un’ampia gamma di dimensioni degli oggetti, rapporti d’aspetto e risoluzioni delle immagini. Per ottenere una copertura così ampia, creiamo innanzitutto LensErase-100M, un dataset su larga scala contenente 101,07 milioni di esempi accoppiati sorgente-maschera-destinazione, relativi a diversi scenari di cancellazione. Preaddestriamo poi LensErase a partire dal modello testo-immagine Lens, adattandone il solido prior generativo alla cancellazione basata su maschere. Per incorporare in modo efficiente l’immagine sorgente e la maschera di cancellazione, proponiamo Mask-Aware RoPE, una codifica posizionale rotativa 3D che inserisce direttamente le informazioni della maschera nei token dell’immagine sorgente senza introdurre una sequenza separata di token per la maschera. Infine, perfezioniamo il modello mediante fine-tuning supervisionato e apprendimento per rinforzo con ricompense guidate da contratti e sensibili alle regioni; durante l’inferenza applichiamo TraceFusion per preservare con alta fedeltà il contenuto esterno alla regione effettivamente modificata. Su sei benchmark pubblici e sul LensErase-Bench proposto, LensErase ottiene miglioramenti sostanziali sia secondo metriche oggettive basate su riferimenti sia nella valutazione tramite VLM senza riferimenti. Ci auguriamo che LensErase possa fungere da modello fondazionale per applicazioni e sistemi legati alla cancellazione.