PIC: Ripensare l’INR per la codifica delle immagini, con codifica rapida e decodifica in meno di un millisecondo

Abstract degli autori

Negli ultimi anni, la rappresentazione neurale implicita (INR) ha compiuto notevoli progressi nella sintesi di nuove visuali e nella codifica di immagini e video. Rispetto ai codec di immagini end-to-end convenzionali, i compressori basati su INR offrono vantaggi significativi in termini di complessità di decodifica. Tuttavia, la loro applicazione pratica è stata ostacolata dalla velocità di codifica inferiore e da un’efficienza di decodifica non pienamente sfruttata. In questo lavoro proponiamo un’architettura di codifica delle immagini basata su INR feedforward, Practical INR Image Codec (PIC), che calcola tutte le informazioni necessarie per la rete INR in un unico passaggio in avanti, raggiungendo una velocità di codifica di 20 FPS. Inoltre, implementiamo un decoder altamente ottimizzato che raggiunge una velocità di decodifica di 2.000 FPS, superando nettamente le prestazioni di JPEG a parità di prestazioni rate-distortion (RD). Per quanto ne sappiamo, questo lavoro presenta il primo codec di immagini basato sull’apprendimento che supera JPEG o ne eguaglia le prestazioni sia in termini di RD sia di velocità di decodifica, mantenendo al contempo una velocità di codifica pratica. Il codice è disponibile all’indirizzo https://github.com/actcwlf/PIC.