The Pulse
Halcyon di Radical Numerics mette alla prova la generazione di immagini da testo senza preaddestramento linguistico
Radical Numerics ha presentato Halcyon, una famiglia di modelli per generare immagini da testo addestrati da zero su 100 milioni di coppie immagine-testo, senza preaddestramento linguistico su scala Internet. Nei test controllati del team,
AI.info Team · Scritto con l’IA · verificato ·
Il 15 ottobre Radical Numerics ha presentato Halcyon, una famiglia di modelli per generare immagini da testo addestrati senza il preaddestramento su soli testi, su scala del web, comunemente usato per costruire gli encoder linguistici. I ricercatori dell’azienda riferiscono che Halcyon ha superato due sistemi di confronto nei punteggi di generazione delle immagini, usando molte meno risorse di calcolo complessive per il preaddestramento. La loro conclusione è circoscritta: negli esperimenti condotti, il preaddestramento linguistico non ha migliorato la generazione di immagini da testo.
Un modello impara da didascalie e immagini
Halcyon usa un’architettura a fusione precoce: un Transformer con solo decoder tratta i dati testuali e visivi come un’unica sequenza di token discreti e impara prevedendo il token successivo. Radical Numerics ha addestrato da zero il tokenizer delle immagini, il tokenizer del testo e il modello generativo su GPIC, un dataset di 100 milioni di coppie immagine-testo. Le dimensioni dei cinque modelli vanno da 0,1 miliardi a 4 miliardi di parametri; ciascuno ha esaminato il dataset una volta, con immagini a una risoluzione di 256 per 256 pixel.
Il confronto dei ricercatori è stato progettato per mantenere costanti i dati di addestramento. Hanno riaddestrato i sistemi LlamaGen e JiT-T2I sugli stessi dati GPIC, poi li hanno confrontati con Halcyon. La variante più potente di LlamaGen usa un encoder testuale FLAN-T5 preaddestrato separatamente, mentre JiT-T2I usa un encoder Qwen3 preaddestrato insieme a un generatore di immagini basato sulla diffusione.
Punteggi di generazione più bassi, meno risorse di calcolo dichiarate
Secondo la metrica gFD dei ricercatori, in cui un punteggio più basso indica una maggiore somiglianza con la distribuzione delle immagini reali, Halcyon-0.52B ha ottenuto 48,0 contro 63,3 di LlamaGen-XL/8. Radical Numerics afferma che, in questo confronto, Halcyon ha usato 18,2 volte meno risorse di calcolo complessive per il preaddestramento. Halcyon-1.6B ha ottenuto 35,3 contro 41,0 di JiT-T2I-XXL/8++, con un impiego di risorse di calcolo complessive per il preaddestramento 275 volte inferiore, secondo il calcolo dell’azienda che tiene conto del modello linguistico, del tokenizer delle immagini e del generatore.
La metrica gFD non misura quanto fedelmente un’immagine segua il suo prompt, perciò il team riporta anche i risultati di GenEval e DPG-Bench. Halcyon-0.52B ha ottenuto 44,91 su GenEval e 76,84 su DPG-Bench, contro 30,48 e 67,08 di LlamaGen-XL/8. Nel confronto con JiT-T2I-XXL/8++, Halcyon-1.6B ha ottenuto 53,48 su GenEval e 77,90 su DPG-Bench; il modello di confronto ha ottenuto 43,17 e 76,85.
Tre test mettono in discussione l’utilità dell’addestramento su soli testi
Il team ha variato la quota del budget di addestramento fisso di Halcyon-0.52B destinata al preaddestramento su soli testi. Destinare a questa fase il 10%, il 20% o il 50% del budget prima della generazione di immagini ha peggiorato il punteggio gFD, passato da 48,0 rispettivamente a 51,6, 52,8 e 65,1. In un esperimento separato, il preaddestramento su testi è stato aggiunto prima di un’intera epoca di addestramento per la generazione di immagini da testo, aumentando del 50% le risorse di calcolo complessive, ma il punteggio è stato 49,2 anziché 48,0. Anche partire da Qwen3-0.6B-Base, preaddestrato su 36 bilioni di token testuali, non ha permesso di superare il modello comparabile addestrato da zero: 47,8 contro 46,6 nella metrica gFD.
«In tutti e tre i casi, il preaddestramento linguistico non migliora la generazione di immagini da testo nelle condizioni dei nostri esperimenti», scrivono Keshigeyan Chandrasegaran, Yue Zhao, Armin W. Thomas e Michael Poli. La precisazione è importante: gli esperimenti riguardano il dataset e le configurazioni dei modelli specificati, nonché immagini a 256 pixel, non ogni attività di generazione di immagini o configurazione di addestramento.
La generazione di didascalie rientra nello stesso budget di addestramento
Halcyon impara anche a produrre didascalie a partire dalle immagini. Anziché eliminare le didascalie dal 10% degli esempi di addestramento per insegnare al modello a generare immagini senza condizioni, i ricercatori le hanno collocate dopo i token delle immagini. Questo aggiunge supervisione per la conversione da immagini a testo senza aumentare il numero di token delle immagini né il budget di preaddestramento dichiarato, mentre il team riferisce una qualità comparabile nella generazione di immagini da testo per tutte e cinque le dimensioni del modello.
Radical Numerics afferma di aver pubblicato dieci modelli Halcyon. I risultati sostengono l’opportunità di verificare se, per questa classe di modelli di generazione di immagini da testo, sia necessaria una fase separata di preaddestramento linguistico; non dimostrano che il preaddestramento linguistico sia superfluo per altri impieghi dei modelli linguistici o per generatori di immagini addestrati in condizioni diverse.