Modelli generativi da testo a immagine senza preaddestramento linguistico

Abstract degli autori

I moderni sistemi da testo a immagine (T2I) si basano su un preaddestramento linguistico su scala Internet per generare immagini condizionate dal testo. Ci chiediamo se questo preaddestramento sia necessario per ottenere buoni risultati nella generazione T2I. Presentiamo Halcyon, una famiglia di modelli autoregressivi multimodali a fusione precoce, preaddestrati interamente da zero su GPIC, un dataset di 100 milioni di coppie immagine-testo. Halcyon-0.52B supera LlamaGen-XL/8 (48,0 contro 63,3 gFD) con un costo computazionale di preaddestramento 18,2$\times$ inferiore. Inoltre, Halcyon-1.6B supera JiT-T2I-XXL/8++ (35,3 contro 41,0 gFD) con un costo computazionale di preaddestramento 275$\times$ inferiore. Esperimenti controllati mostrano che il preaddestramento sul solo testo non migliora la generazione T2I. Halcyon impara anche a generare didascalie per le immagini sostituendo il caption dropout con la supervisione I2T, mantenendo una qualità competitiva nella generazione T2I a parità di budget di preaddestramento. Mostriamo che è possibile addestrare da zero sistemi T2I di alto livello senza preaddestramento linguistico su scala Internet. Il codice e i modelli sono disponibili all’indirizzo https://cs.stanford.edu/~keshik/halcyon