Sbloccare la generazione in qualsiasi ordine nei modelli autoregressivi di immagini preaddestrati

Abstract degli autori

In linea di principio, i generatori di immagini autoregressivi (AR) sono potenti, ma nella pratica poco flessibili: addestrarli con un ordine fisso di scansione raster codifica nel modello un’unica fattorizzazione della distribuzione delle immagini, impedendogli di eseguire operazioni di inpainting, outpainting o editing al momento dell’inferenza. Le soluzioni esistenti, compresa la moderna famiglia della diffusione discreta, vengono addestrate da zero su una combinazione di ordinamenti dei token, con un costo computazionale pari a circa 3 volte quello dell’addestramento standard con scansione raster; inoltre, per sua stessa natura, la diffusione discreta sacrifica la compatibilità con l’ecosistema di inferenza AR (KV caching, vLLM). Sosteniamo che questo costo non sia necessario. Un modello AR preaddestrato con scansione raster ha già appreso la distribuzione congiunta dei token dell’immagine; ciò che gli manca non è la conoscenza, ma la capacità di esprimerla attraverso percorsi condizionali non sequenziali. Proponiamo un metodo per adattare modelli preaddestrati con scansione raster trasformandoli in generatori capaci di generare in qualsiasi ordine, basato su due componenti: embedding posizionali consapevoli del futuro, che risolvono un problema di identificabilità della posizione obiettivo con un sovraccarico trascurabile, e un curriculum degli ordinamenti, che traccia un percorso di ottimizzazione stabile dalla soluzione preaddestrata a un buon bacino per la generazione in qualsiasi ordine. Applicato a quattro modelli di base, due architetture e due scale (LlamaGen-L/XL, RAR-L/XL), il metodo supera nettamente MaskGIT nell’inpainting su ImageNet (FID 6,21 contro 10,44) e nell’outpainting, è competitivo con MAR-L e scambia un aumento di 1,2–1,9 dell’FID condizionale alla classe con questa flessibilità. Richiede inoltre un costo computazionale aggiuntivo del 13–33% rispetto al pretraining, lasciando intatto lo stack standard di inferenza AR. I nostri risultati suggeriscono che inpainting, outpainting ed editing non devono necessariamente essere aggiunti ai modelli autoregressivi di immagini: possono essere sbloccati nei modelli già esistenti. Il codice è disponibile all’indirizzo https://github.com/Ordered-AR/unlockedadaptation.