SketchDirector: disegnare scene complesse tramite ragionamento agentico sulla disposizione e perfezionamento dei dettagli

Abstract degli autori

I metodi esistenti per la generazione di schizzi si basano spesso su immagini di riferimento e sono perlopiù limitati a singoli oggetti o scene semplificate, lasciando ancora poco esplorata la realizzazione di schizzi di scene complesse guidata dal testo. Presentiamo SketchDirector, un framework agentico che riproduce il flusso di lavoro umano per la realizzazione automatica di schizzi di scene con più concetti. A partire da un prompt testuale a livello di scena, SketchDirector usa innanzitutto un modello linguistico di grandi dimensioni~(LLM) per scomporre la scena in diversi elementi grafici preliminari, ciascuno rappresentato da un insieme di curve di Bézier. Quindi, un ciclo di ragionamento agentico pianifica ed esegue iterativamente la loro disposizione spaziale, guidato da una memoria che evolve autonomamente. Infine, un modulo di perfezionamento dei dettagli sfrutta i prior dei modelli di diffusione per migliorare la qualità degli schizzi preservandone la struttura geometrica. Per sostenere la ricerca e le applicazioni future nella generazione di schizzi di scene con più concetti, presentiamo inoltre il dataset \textit{MCSketch8K}, che comprende elementi vettoriali modificabili, composizioni e annotazioni sulla manipolazione a livello di oggetto. Esperimenti approfonditi mostrano che SketchDirector supera i metodi di riferimento all’avanguardia per qualità semantica e compositiva, preservando al contempo efficacemente l’organizzazione complessiva dei contorni durante il perfezionamento. La pagina del progetto è: \href{https://yiki77.github.io/SketchDirector/}{https://yiki77.github.io/SketchDirector/}.