WorldSR: sfruttare la ricerca di conoscenze sul mondo per una super-risoluzione delle immagini ancorata alla realtà

Abstract degli autori

I metodi di super-risoluzione (SR) basati su prior generativi sfruttano le conoscenze implicite apprese da modelli su larga scala per migliorare gli input a bassa risoluzione. Tuttavia, questi prior sono intrinsecamente stocastici e ottimizzati per generare risultati diversificati, in contrasto con la ricostruzione deterministica e ad alta fedeltà richiesta dalla SR. L’approccio resta inoltre legato al modello di base, è costoso da aggiornare ed è soggetto ad allucinazioni man mano che i dati del mondo reale cambiano. Per affrontare questi limiti, presentiamo WorldSR, un nuovo sistema che integra nella SR conoscenze visive esplicite sul mondo, allineate alle entità. WorldSR scompone automaticamente l’input in entità semantiche e, per ciascuna, recupera da un ampio corpus esterno immagini allineate sul piano strutturale e semantico. Per migliorare efficienza e affidabilità, integriamo un meccanismo di memoria che riutilizza i risultati recuperati in precedenza e un processo di filtraggio in più fasi che seleziona i riferimenti candidati. I riferimenti selezionati, usati come conoscenze sul mondo, vengono poi integrati attraverso un nuovo modello di super-risoluzione basato su più riferimenti, che fornisce vincoli a grana fine per la sintesi dei dettagli e il recupero della struttura. Gli esperimenti su benchmark di SR del mondo reale mostrano che WorldSR migliora sistematicamente la fedeltà strutturale e la qualità visiva, superando i metodi di super-risoluzione generativa esistenti. I nostri risultati suggeriscono che ancorare le singole entità a conoscenze visive esterne sul mondo costituisce un complemento semplice ed efficace ai prior generativi legati al modello.