SCOPE: ottimizzazione dell’attribuzione del merito delimitata semanticamente per il prompt engineering nella generazione di immagini da testo

Abstract degli autori

L’apprendimento per rinforzo (RL) consente ai modelli linguistici di migliorare la generazione di immagini da testo (T2I) riscrivendo i prompt per un generatore di immagini i cui parametri restano congelati. I metodi esistenti applicano di solito ai singoli token di sottoparola un unico segnale ricavato dall’immagine, benché oggetti, quantità, attributi e relazioni formino segmenti semantici coerenti. Proponiamo SCOPE, un obiettivo basato su Group Relative Policy Optimization (GRPO) che allinea la ponderazione degli aggiornamenti a questa struttura. Il modello che riscrive il prompt genera insieme un prompt migliorato e la sua partizione semantica. SCOPE aggrega le variazioni delle log-probabilità della policy all’interno di ciascun segmento per ricavare un coefficiente comune per le loss dei suoi token, mantenendo un unico valore di vantaggio per ogni completamento. Non richiede né ricompense separate per i segmenti né ulteriori generazioni di immagini. Su Qwen-Image, SD3 e FLUX.1-dev, SCOPE ottiene miglioramenti relativi medi rispetto a GRPO di base del 9,48% su GeneVal e del 7,62% su T2I-CompBench. Gli studi di ablazione mostrano che sia i confini semantici sia l’aggregazione all’interno dei segmenti contribuiscono a questi miglioramenti, a sostegno dell’utilità della struttura semantica come bias induttivo pratico per il prompt engineering con RL.