T-DIG: diversità condizionata dal testo per la generazione di immagini

Abstract degli autori

Le piattaforme di generazione di immagini da testo (T2I) restituiscono in genere più immagini per ogni prompt, così che gli utenti possano esplorare diverse interpretazioni visive e scegliere quella che corrisponde alle loro intenzioni. Tuttavia, i modelli T2I sono di solito ottimizzati per la qualità della singola immagine, a scapito della diversità tra le immagini generate, e questo limita l’esplorazione. La diversità dipende anche dal contesto: un utente vuole variazioni nello sfondo, un altro nello stile artistico, e lo stesso utente potrebbe in seguito volerne nell’abbigliamento. Le immagini generate dovrebbero differire lungo l’asse di variazione che interessa all’utente. In questo articolo presentiamo T-DIG, un framework per la diversità condizionata dal testo nella generazione e nella modifica delle immagini. T-DIG è un framework iterativo composto da più moduli: consente agli utenti di scrivere prompt, esaminare le immagini generate per impostazione predefinita, chiedere variazioni in linguaggio naturale e continuare a perfezionare i risultati finché non sono soddisfatti. Al centro di T-DIG c’è una policy basata su un LLM che produce K prompt o istruzioni di modifica condizionati dall’asse di variazione, destinati a un generatore o a un editor i cui parametri restano fissi. Addestriamo questa policy con GRPO, usando una ricompensa per la diversità condizionata dal testo e penalità per l’allineamento. Poiché i parametri del generatore di immagini restano fissi, T-DIG è applicabile a modelli a pesi aperti, distillati e proprietari. Rendiamo inoltre disponibile il primo dataset per la diversità dei prompt condizionata dal testo nella generazione di immagini: le partizioni di addestramento e validazione sono costruite a partire da assi di variazione scritti da persone, mentre il set di test deriva da interazioni reali degli utenti con T-DIG. T-DIG supera nettamente i metodi di riferimento nell’aumentare la diversità condizionata dal testo, mantenendo l’aderenza al prompt di partenza secondo diverse metriche e valutazioni umane. Mostriamo che l’esplorazione della diversità guidata dagli utenti può essere aggiunta a un’ampia gamma di modelli di generazione di immagini, aperti e chiusi, senza dover accedere ai loro pesi. Sito web: https://image-study.org/t-dig/