JLD: la distanza percettiva attraverso una lente jacobiana

Abstract degli autori

La compressione, il restauro e la generazione di immagini richiedono tutti un modo per misurare quanto due immagini appaiano diverse a una persona. L’errore a livello di pixel non tiene conto della percezione umana, mentre le misure di distanza percettiva più accurate sono in genere calibrate sui giudizi umani, il che le vincola a dati e a una risoluzione fissi. Per esempio, quando la risoluzione delle immagini raddoppia, la correlazione di DISTS con i punteggi umani su TID2013 scende da 0,815 a 0,717. Presentiamo Jacobian Lens Distance (JLD), che ricava la propria geometria percettiva da un encoder visivo i cui parametri sono mantenuti fissi, anziché da etichette assegnate da esseri umani. JLD combina la località delle caratteristiche dei patch dei primi livelli con la sensibilità percettiva colta dalle rappresentazioni dei livelli successivi dell’encoder. In particolare, usiamo la Jacobiana dell’encoder per individuare le direzioni nello spazio delle caratteristiche dei primi livelli che incidono maggiormente sull’output dell’encoder, ottenendo un tensore metrico fisso, $E[J^\top J]$, che chiamiamo lente jacobiana. La lente viene calibrata una sola volta su 100 immagini prive di etichette, in circa 35 secondi. Localmente, questa costruzione definisce una metrica di pullback nello spazio dei pixel, dando a JLD una chiara interpretazione geometrica che può essere analizzata direttamente su immagini reali. Su quattro database standard per la valutazione della percezione, JLD raggiunge prestazioni allo stato dell’arte e supera costantemente LPIPS, DISTS, PieAPP e DreamSim. JLD è inoltre robusta alle variazioni della risoluzione delle immagini: su TID2013, la correlazione del termine della lente rimane pressoché invariata quando la risoluzione raddoppia, scendendo solo da 0,850 a 0,845. Presentiamo inoltre JLD-fast, che è $4\times$ più veloce di LPIPS-VGG e raggiunge una correlazione media di 0,911. Infine, JLD si estende naturalmente ai video, raggiungendo una correlazione di 0,786 su Waterloo IVC 4K, contro 0,611 per VMAF.