Ottimizzazione del compromesso tasso-distorsione per metriche di qualità delle immagini a pieno riferimento tramite stime stocastiche dell’Hessiana

Abstract degli autori

I codec video basati su blocchi selezionano i parametri di codifica in funzione dell’input, ottimizzando il compromesso tra tasso e distorsione. La scelta convenzionale della distorsione, la somma degli errori quadratici (SSE), semplifica la selezione dei parametri: la SSE è la somma delle SSE dei singoli blocchi, quindi l’ottimizzazione del compromesso tasso-distorsione (RDO) può trattare i blocchi in modo indipendente. In alternativa, metriche di valutazione della qualità delle immagini a pieno riferimento (FR-IQA), come MS-SSIM o LPIPS, spesso risultano più in linea con il sistema visivo umano rispetto alla SSE, ma non possono essere usate in-loop: non si scompongono per blocchi e in genere richiedono come input l’immagine completamente decodificata. Sulla base di risultati esistenti nella quadratizzazione delle metriche, approssimiamo un’ampia classe di metriche FR-IQA con una distorsione quadratica dipendente dall’input (IDQD), la cui matrice della forma quadratica è ricavata dall’Hessiana della metrica, calcolata sul video sorgente. Per rendere la distorsione calcolabile per blocchi, proponiamo due approssimazioni della matrice Hessiana: 1) mantenere i blocchi diagonali e 2) mantenere soltanto la diagonale. Proponiamo stimatori per entrambe le approssimazioni, che richiedono soltanto prodotti matrice-vettore con l’Hessiana, ottenuti tramite differenziazione automatica. Su cinque metriche, per Kodak e CLIC con VVC, IDQD-RDO ottiene risparmi sul BD-rate del 14,2–36,7% secondo la metrica obiettivo, senza modifiche al decoder, e comporta un sovraccarico del 10–30% sulla complessità di codifica.