MESS: sintesi di sequenze a esposizioni multiple per il miglioramento generalizzabile delle immagini

Abstract degli autori

Nonostante i notevoli progressi nel miglioramento delle immagini in condizioni di illuminazione sfavorevoli, come il miglioramento delle immagini in scarsa luce, la correzione dell’esposizione e il miglioramento delle immagini in controluce, i modelli esistenti mostrano una capacità limitata di generalizzare a scenari diversi. Un ostacolo importante è la mancanza di dati di addestramento ampi e diversificati: queste attività si basano in genere su coppie di immagini acquisite manualmente e allineate con precisione, la cui produzione su larga scala è costosa. Sebbene i dati sintetici siano stati esplorati come alternativa, i metodi di sintesi esistenti hanno limiti nel modellare condizioni di illuminazione sfavorevoli complesse e le pipeline di acquisizione delle immagini delle fotocamere. Per affrontare il problema, proponiamo un nuovo framework per sintetizzare coppie di addestramento realistiche destinate al miglioramento delle immagini in scenari reali, con capacità di generalizzazione. In particolare, ricaviamo dapprima sequenze a esposizioni multiple (MES) da immagini RAW ad alta profondità di bit, elaborandole con diverse impostazioni di esposizione attraverso una pipeline ISP emulata. Usando queste MES derivate dai file RAW come riferimento per l’addestramento, addestriamo un generatore da RGB a MES basato su modelli di diffusione per sintetizzare sequenze di esposizioni plausibili a partire da una singola immagine RGB a 8 bit, estendendo così la pipeline di sintesi dalle limitate raccolte di file RAW ai dati RGB su larga scala acquisiti in scenari reali. Per ogni immagine di partenza, campioniamo casualmente una variante di esposizione sintetizzata come input degradato e usiamo l’immagine RGB originale di alta qualità come immagine bersaglio. Con l’approccio MES Synthesis (MESS) proposto, creiamo un dataset di 500K coppie di addestramento e addestriamo una rete leggera, che dimostra una capacità di generalizzazione significativamente migliore rispetto ai modelli esistenti in diverse attività di miglioramento delle immagini. Il codice e i dati sono disponibili all’indirizzo https://github.com/PolyU-VCLab/MESS.