UniRestorer++: Restauro universale delle immagini scalabile con modellazione del degrado a granularità multiple

Abstract degli autori

Il restauro universale delle immagini mira a gestire diversi tipi di degrado con un unico modello, ma una strategia di scaling affidabile è ancora poco esplorata. Aumentare la profondità e la larghezza del backbone può portare a una saturazione delle prestazioni, mentre la specializzazione consapevole del degrado dipende da una stima accurata del degrado ed è vulnerabile agli errori su input fuori distribuzione e del mondo reale. Proponiamo UniRestorer++, un framework scalabile basato sulla modellazione del degrado a granularità multiple. Affina progressivamente i gruppi di degrado e introduce esperti specifici per ciascun gruppo, accoppiando la crescita della capacità alla specializzazione. Il routing basato sulla stima del degrado seleziona un percorso dalla radice alla foglia, mentre quello basato sulla stima della granularità sceglie un livello lungo tale percorso, bilanciando specializzazione e robustezza. Le mappe di rappresentazione del degrado spazialmente dense consentono inoltre un routing consapevole delle regioni per le corruzioni spazialmente non uniformi. Sviluppiamo CDD-50, un benchmark che copre 50 categorie di degrado, da un singolo degrado fino a cinque. Gli esperimenti mostrano andamenti del PSNR approssimativamente log-lineari nell’intervallo di dimensioni dei modelli valutato e guadagni di scaling maggiori su dati fuori distribuzione e del mondo reale rispetto allo scaling MoE standard. UniRestorer++ raggiunge prestazioni allo stato dell’arte su diversi benchmark e dimostra generalizzazione zero-shot e trasferimento few-shot su immagini del mondo reale. Codice: https://github.com/mrluin/UniRestorer_plusplus