FoMo: il momento di biforcazione nella traiettoria generativa come distanza percettiva

Abstract degli autori

Le metriche per la valutazione della qualità delle immagini basate su un riferimento (IQA) mirano a rispecchiare il modo in cui le persone percepiscono la distanza percettiva tra due immagini. Per comprendere come funziona il sistema visivo umano (HVS), le recenti metriche IQA basate su un riferimento si affidano in larga misura a dati annotati da esseri umani. L’attribuzione di un punteggio individuale basata sul punteggio medio delle valutazioni (MOS), che assegna a ogni immagine un valore numerico di qualità, è preferibile ai fini dell’annotazione, ma raccogliere questi punteggi su larga scala è proibitivamente costoso; inoltre, è noto che contengono rumore a causa dell’incoerenza dei giudizi umani. In alternativa, le etichette di scelta forzata tra due alternative (2AFC), basate sul confronto a coppie, si sono diffuse grazie alla loro affidabilità ed efficienza, ma rilevano soltanto confronti relativi tra coppie. In questo articolo proponiamo una procedura completamente automatizzata per generare dati che produce etichette individuali di distanza percettiva per coppie di immagini, senza alcuna annotazione umana. Il nostro approccio sfrutta le dinamiche generative dei modelli di diffusione come proxy della distanza percettiva: la struttura grossolana di un’immagine viene generata nei primi passi temporali e i dettagli più fini in quelli successivi. Le immagini le cui traiettorie si biforcano presto nel processo di generazione condividono soltanto la struttura grossolana e sono percettivamente distanti; quelle le cui traiettorie si biforcano tardi differiscono solo nei dettagli più fini. Mostriamo che la traiettoria di diffusione è ben allineata al sistema visivo umano e usiamo questo momento di biforcazione, FoMo, come etichetta di distanza ancorata all’immagine di riferimento per supervisionare l’addestramento di una metrica IQA basata su un riferimento. Le etichette individuali, che consentono un confronto universale tra coppie di immagini arbitrarie, permettono di adottare un obiettivo di addestramento ricco di informazioni. Esperimenti approfonditi su diverse architetture di base confermano l’efficacia della nostra procedura di generazione, che supera i dataset annotati da esseri umani in diversi benchmark.