Dal prompting alla composizione: Spatial Canvas Interface per la generazione di poster

Abstract degli autori

Il prompt testuale è un’interfaccia indiretta per generare poster: costringe gli utenti a esprimere un’intenzione compositiva intrinsecamente bidimensionale attraverso una sequenza unidimensionale di parole. Presentiamo Spatial Canvas Interface, che consente agli utenti di definire direttamente nello spazio la composizione desiderata attraverso quattro tipi di vincolo complementari — semantico, d’identità, testuale e a livello di pixel — insieme a Text Specifications per i singoli elementi e per l’aspetto complessivo. Su questa interfaccia si basa Compo, un modello per la generazione di poster adattato da un modello di modifica delle immagini preaddestrato, in modo da comprendere gli input di Spatial Canvas e le Text Specifications. Compo supporta sia l’inferenza diretta, in cui gli utenti costruiscono esplicitamente il canvas, sia la modalità agentica, in cui una richiesta generale viene tradotta automaticamente in uno Spatial Canvas pianificato. Per addestrare Compo, sviluppiamo una pipeline scalabile che costruisce automaticamente dati di supervisione per i diversi tipi di vincolo e le loro combinazioni, consentendo un adattamento efficiente senza addestrare da zero un modello specializzato nella generazione di poster. Introduciamo inoltre un benchmark che valuta il rispetto dei singoli tipi di vincolo e della loro composizione congiunta. Gli esperimenti mostrano che Compo offre un controllo della composizione maggiore rispetto sia ai modelli di generazione di immagini di uso generale sia ai sistemi dedicati alla generazione di poster, mantenendo al contempo un’elevata qualità visiva. Separando la definizione dell’intento dalla generazione visiva, il nostro lavoro sposta la generazione di poster dal prompting alla composizione.