Generazione di immagini personalizzate con ragionamento e riflessione

Abstract degli autori

La generazione di immagini personalizzate è rimasta concentrata sulla sintesi condizionata a partire da esempi visivi selezionati, anziché cercare di cogliere chi sia l’utente. In pratica, però, il contesto personale di un utente è molto più ricco: comprende recensioni, post, immagini, didascalie e metadati accumulati nel tempo. Un generatore davvero personalizzato dovrebbe sfruttare questa cronologia per produrre immagini in linea con lo stile di vita e le preferenze estetiche dell’utente. A questo scopo, presentiamo il primo benchmark unificato per la generazione di immagini personalizzate a partire dalle cronologie degli utenti. Il benchmark comprende due compiti complementari e un protocollo di valutazione multidimensionale che misura la fedeltà al soggetto richiesto, la qualità visiva, la distinguibilità degli utenti, l’allineamento semantico con la cronologia dell’utente e l’utilità specifica per ciascun compito. Basato su contesti reali di e-commerce e social media, il benchmark include: (1) Personalized Scene Generation, che colloca un oggetto dato in una scena che rispecchia le preferenze e lo stile di vita di un utente, in funzione della presentazione personalizzata dei prodotti; e (2) Personalized Creative Generation, che genera su un tema specificato un’immagine inedita fedele all’estetica e all’identità visiva di un utente, in funzione della creazione di contenuti per i social media. Proponiamo inoltre PEARL, che abbina un modello di ragionamento multimodale a un generatore di immagini con parametri congelati in un ciclo alternato di ragionamento e riflessione, ottimizzato mediante una ricompensa differenziale basata sui dati. In entrambi i compiti, PEARL supera solide soluzioni di riferimento, ottenendo un miglioramento medio del 15% nelle metriche di personalizzazione.