Super-risoluzione nello spazio latente giusto: un substrato basato su un modello fondamentale per la visione congelato

Abstract degli autori

In uno spazio latente delle immagini, gli embedding delle immagini ad alta risoluzione, naturali e nitide formano una varietà. Il degrado delle immagini ad alta risoluzione spinge i loro embedding fuori da questa varietà. La super-risoluzione (SR) di immagini reali diventa quindi il compito di riportare l’embedding degradato sulla varietà: non in un punto qualsiasi, ma in quello che preserva ciò che l’input ancora contiene, sia sul piano semantico sia nei dettagli dei pixel. Tutti i metodi pubblicati realizzano questa mappatura in uno spazio latente orientato alla ricostruzione o nello spazio dei pixel. Sosteniamo che questi spazi siano substrati inadatti alla SR. Le immagini a bassa risoluzione e degradate vengono rappresentate lontano dalla varietà, rendendo la mappatura difficile e costosa. La mancanza di informazioni semantiche in questi substrati rende inoltre difficile raggiungere il punto fedele sulla varietà, causando gravi allucinazioni quando il degrado è marcato. Per la SR è dunque fondamentale effettuare il ripristino in uno spazio latente adatto. Mostriamo che lo spazio latente ottenuto dalla fusione di 23 livelli di un DINOv3-L congelato è uno di questi spazi e rende più semplice il compito della SR. Le immagini degradate vengono rappresentate vicino alla varietà. Questo substrato contiene inoltre una gerarchia di informazioni, dalla traccia dei pixel alla semantica robusta al degrado, che guida il modello verso il punto fedele sulla varietà. Su questo substrato, un decoder da 415M viene addestrato con obiettivi di ricostruzione e avversari per riportare gli embedding degradati sulla varietà e convertirli nello spazio dei pixel in un solo passaggio. Il modello risultante, RAESR, ottiene il miglior compromesso tra fedeltà e percezione fra i metodi di ripristino avversari e basati sulla diffusione allo stato dell’arte su RealSR, DRealSR, LSDIR e DIV2K-Val, impiegando 37 ms per immagine da 512 × 512 su una singola GPU H20. Sostituendo il substrato con lo spazio latente di un VAE, a parità di procedura, i risultati peggiorano su ogni metrica.