Prima conoscere, poi disegnare: un nuovo paradigma di apprendimento per la generazione visiva

Abstract degli autori

La generazione visiva richiede sia conoscenze semantiche di alto livello sia dettagli dei pixel a grana fine. Proponiamo un paradigma di apprendimento che assegna questi ruoli al preaddestramento autoregressivo per l’acquisizione di conoscenze e al post-addestramento basato sulla diffusione per un rendering ad alta fedeltà. In questo quadro, studiamo l’obiettivo, la rappresentazione e la scalabilità dell’acquisizione di conoscenze e del rendering. I confronti controllati individuano nell’autoregressione un obiettivo di preaddestramento più efficace per il rendering nelle fasi successive, capace di migliorare sia l’efficienza dell’apprendimento sia la qualità finale della generazione. Inoltre, rileviamo che la qualità della generazione ottenuta con la sola AR non è necessariamente correlata alle prestazioni finali: la qualità semantica conta di più. Questo ci porta a proporre un tokenizer puramente semantico, addestrato esclusivamente con supervisione linguistica, senza decoder di immagini né loss di ricostruzione. Stabiliamo leggi di scaling ottimali rispetto al calcolo per l’acquisizione di conoscenze e il rendering e rileviamo che il preaddestramento autoregressivo riduce la perdita asintotica di rendering stimata rispetto ai modelli di diffusione sui pixel addestrati da zero. Seguendo queste leggi, addestriamo un modello text-to-image da 3B parametri con sole 6.600 ore-GPU H100, ottenendo 86 in GenEval e 87 in DPG-Bench e convalidando su larga scala il paradigma proposto.