IECLA: apprendimento interpretabile del contributo emotivo per l’editing affettivo delle immagini

Abstract degli autori

L’editing affettivo delle immagini (AIE) mira a evocare un’emozione desiderata preservando il contenuto e la struttura dell’immagine di partenza. I metodi esistenti migliorano l’espressione emotiva o la fedeltà visiva, ma la sola emozione desiderata non indica quali regioni dell’immagine di partenza vadano modificate e quali debbano rimanere intatte, soprattutto nelle scene complesse. Presentiamo Interpretable Emotion Contribution Learning for Affective Image Editing (IECLA), un framework che separa l’attribuzione dell’emozione dell’immagine di partenza dall’editing orientato all’emozione desiderata. IECLA costruisce una supervisione con segno a livello di oggetti mediante interventi controfattuali e addestra un modello di previsione dei contributi condizionato dal contesto a individuare gli elementi che sostengono o contrastano l’emozione dell’immagine di partenza. Durante l’inferenza, un modello di valutazione a livello di immagine stima tale emozione direttamente dall’input, mentre il modello di previsione individua, senza ripetere gli interventi, gli elementi a favore della modifica e quelli da preservare. Un agente di editing orientato all’emozione desiderata traduce poi questi elementi e l’emozione richiesta in operazioni localizzate, attente al contenuto, da affidare agli editor esistenti. Valutazioni approfondite mostrano che IECLA prevede i contributi controfattuali con maggiore fedeltà sia nei test sullo stesso dominio sia in quelli tra dataset, mentre VLM esterni e riferimenti umani indipendenti avvalorano la qualità degli elementi localizzati che individua. Su sei architetture di base per l’editing, IECLA rafforza sistematicamente l’espressione dell’emozione desiderata preservando il contenuto e la struttura dell’immagine; studi condotti con utenti mostrano inoltre un miglioramento nella percezione di tale espressione e della naturalezza delle immagini.