Generazione autoregressiva di immagini consapevole del contesto per proprietà emergenti di ragionamento

Abstract degli autori

La generazione autoregressiva di immagini si è affermata di recente come un paradigma competitivo per la generazione visiva, ma il suo ordine di generazione è spesso predefinito o euristico, come nella previsione della patch successiva, nella previsione in ordine casuale o nella generazione in un solo passaggio per scale specifiche. Osserviamo che queste strategie possono portare i modelli a trascurare importanti dipendenze strutturali nelle immagini, limitandone così sia la robustezza strutturale sia la capacità di ragionamento. In questo lavoro proponiamo un framework di generazione autoregressiva consapevole del contesto, in cui il modello determina dinamicamente la posizione del token successivo sulla base del contesto globale e delle informazioni locali correnti. Invece di seguire un ordine fisso o casuale, il nostro metodo consente al processo di generazione di adattarsi alla struttura dell’immagine e alle dipendenze semantiche. Esperimenti approfonditi mostrano che la generazione consapevole del contesto migliora significativamente la robustezza strutturale in diversi paradigmi di generazione autoregressiva di immagini, compresi i modelli autoregressivi mascherati e quelli autoregressivi per scala. Oltre ai miglioramenti quantitativi, osserviamo anche proprietà emergenti di ragionamento: il modello è in grado di comprendere meglio istruzioni semantiche complesse e di generare immagini che seguono più fedelmente le indicazioni fornite. Questi risultati suggeriscono che l’ordine di generazione è un fattore critico, ma ancora poco esplorato, nella modellazione autoregressiva delle immagini e che la decodifica consapevole del contesto può aprire la strada a capacità più avanzate di generazione visiva in grado di ragionare. Il codice è disponibile all’indirizzo https://github.com/Hpesojyjx/Saccades-AR.