TokenRepel: generare insiemi di immagini diversificati senza compromettere la qualità

Abstract degli autori

Presentiamo un approccio applicato in fase di inferenza che aumenta la diversità visiva degli insiemi di immagini generati da modelli text-to-image, senza compromettere la qualità media delle immagini. Il nostro metodo sfrutta la geometria intrinseca delle rappresentazioni nascoste nei modelli pretrained per diversificare le immagini generate a partire dallo stesso prompt. Per prima cosa, introduciamo un meccanismo di repulsione dei token che aumenta l’angolo tra i token di caratteristiche dei diversi campioni. Il meccanismo compie un passo lungo il gradiente riemanniano negativo di una distribuzione a miscela di von Mises-Fisher dei token sulla ipersfera unitaria. In secondo luogo, per preservare la qualità di ciascuna immagine generata, proponiamo un meccanismo di preservazione della densità dei token, che proietta la variazione della previsione indotta dalla repulsione su un semispazio allineato con la direzione dello score del modello. Questo favorisce il mantenimento degli aggiornamenti entro le regioni ad alta densità apprese dal modello generativo. Estendiamo inoltre questo meccanismo all’output di ciascun livello intermedio, consentendo una guida iterativa più granulare. Valutiamo il nostro metodo su tre tipi di modelli text-to-image pretrained. Gli esperimenti mostrano notevoli miglioramenti della diversità visiva a parità di prompt, mantenendo al contempo un livello comparabile di fedeltà delle immagini.