ODC: correzione della deriva ortogonale per migliorare l’allineamento semantico testo-immagine in fase di inferenza

Abstract degli autori

I modelli da testo a immagine hanno ottenuto risultati notevoli nella generazione di immagini di alta qualità a partire da descrizioni testuali. Spesso, però, faticano a gestire la «deriva semantica»: l’immagine generata non corrisponde con precisione a prompt testuali complessi o sfumati. Sebbene approcci recenti abbiano cercato di affrontare gli errori semantici relativi all’associazione degli attributi o alla presenza degli oggetti, manca ancora un metodo più olistico che affronti questi problemi perfezionando direttamente gli embedding testuali del prompt iniziale dell’utente. In questo lavoro presentiamo Orthogonal Drift Correction (ODC), un metodo di guida in fase di inferenza progettato per limitare la deriva semantica senza richiedere un nuovo addestramento del modello né ulteriori input da parte dell’utente. ODC guida la generazione delle immagini attraverso un processo in due fasi. Nella prima, individua la deriva semantica valutando l’immagine generata inizialmente rispetto al prompt dell’utente in uno spazio di embedding condiviso tra visione e linguaggio. Isola quindi la componente del vettore di deriva ortogonale alla direzione del prompt e la traduce nuovamente in testo tramite un meccanismo surrogato basato sul vocabolario. Nella seconda fase, genera un condizionamento testuale perfezionato per un secondo passaggio di generazione, fornendo sia l’embedding testuale iniziale sia la rappresentazione della deriva ri-embedded a un modulo adattivo di rimozione dei concetti a rango ridotto. I nostri esperimenti dimostrano che ODC migliora costantemente l’allineamento tra prompt e immagine, aumentando fino al 5,4% i punteggi CLIP rispetto alla baseline sui benchmark COALBench-300 e PartiPrompts. Inoltre, sul sottoinsieme complesso di T2I-CompBench, ODC migliora del 4,5% il punteggio medio 3-in-1 rispetto ai metodi concorrenti. Come modulo plug-and-play, ODC offre un metodo pratico ed efficiente per migliorare l’affidabilità dei modelli da testo a immagine. Il codice è disponibile all’indirizzo https://github.com/kasrakamali/ODC.