Barycentric Guidance: dagli editor di immagini basati su modelli fondazionali al controllo affettivo continuo

Abstract degli autori

Le emozioni si esprimono lungo un continuum e si descrivono naturalmente nello spazio valenza-attivazione (VA). Gli editor di immagini basati sullo spazio VA richiedono in genere un addestramento e sono specifici per un dominio: restano quindi limitati alle regioni VA osservate durante l’addestramento e si dimostrano fragili quando cambiano dataset o dominio. Gli editor di immagini basati su modelli fondazionali più avanzati producono invece modifiche di alta qualità, ma non offrono un controllo affettivo continuo: le rappresentazioni non lineari delle emozioni nei codificatori di testo rendono poco calibrata l’interpolazione dei prompt, perciò il controllo VA preciso e continuo resta inaffidabile. Per colmare questa lacuna, presentiamo Barycentric Guidance, un framework che, senza addestramento, trasforma editor di immagini basati su modelli fondazionali preaddestrati in sistemi di controllo affettivo continuo nello spazio VA, senza richiedere fine-tuning, dati aggiuntivi o modifiche al modello. Il nostro metodo associa a qualsiasi punto VA desiderato pesi di guida basati su simplessi, consentendo il controllo VA sotto tre aspetti: (i) raggiungimento preciso degli stati VA, (ii) ampia copertura del piano VA e (iii) controllo continuo. Su tre dataset di volti, rispetto al baseline migliore miglioriamo del 25-29% la precisione nel raggiungere gli stati VA desiderati, ampliamo del 28-50% la copertura del piano VA e aumentiamo del 29-49% la varietà delle espressioni. A differenza dei metodi precedenti, specifici per un dominio, il nostro approccio senza addestramento sfrutta la versatilità intrinseca del modello fondazionale, consentendo, con un unico framework, di generalizzare oltre i volti umani ad animali, opere d’arte e scene complesse. Il codice è disponibile all’indirizzo https://github.com/harveymannering/BarycentricGuidance.