Cola2: modellazione gerarchica del linguaggio coadattiva con compressione semantica continua e generazione discreta bilanciata

Abstract degli autori

La generazione gerarchica del linguaggio separa la modellazione semantica continua dalla realizzazione discreta del testo, ma la sua efficacia dipende da ciò che viene compresso nello spazio latente e da come il generatore discreto lo utilizza. Proponiamo Cola2, un framework che studia congiuntamente la compressione semantica continua, l’equilibrio tra ricostruzione e generazione e il coadattamento tra componenti continue e discrete. Cola2 suddivide dinamicamente il testo in segmenti semantici, controlla il tasso di compressione tramite retroazione negativa senza perdite ausiliarie e combina la supervisione per la ricostruzione e per la generazione per apprendere rappresentazioni latenti compatte e predittive. Un decoder a diffusione mascherata con causalità a blocchi viene addestrato con rappresentazioni latenti pulite, rumorose e omesse, mentre la classifier-free guidance regola l’equilibrio tra ricostruzione semantica e generazione autonoma. I gradienti della predizione dei token aggiornano l’encoder attraverso le rappresentazioni latenti, mentre l’apprendimento della distribuzione a priori tramite Flow Matching è disaccoppiato dall’apprendimento delle rappresentazioni mediante stop-gradient. Durante l’inferenza, il testo generato viene codificato nuovamente secondo una suddivisione fissa in segmenti, per mantenere la cronologia delle rappresentazioni latenti coerente con il contesto testuale effettivo. Esperimenti su cinque compiti a valle, con circa 210 miliardi di token di addestramento, convalidano le scelte progettuali fondamentali e mostrano una crescita delle prestazioni competitiva e non ancora giunta a saturazione. Con 346,03 miliardi di token sorgente, un checkpoint non ancora giunto a convergenza raggiunge una media di 60,10 su otto compiti e supera Llama-3-8B su HellaSwag e StoryCloze, nonostante il budget di preaddestramento dichiarato per quest’ultimo sia oltre 43 volte superiore. Questi risultati dimostrano il potenziale della generazione gerarchica del linguaggio basata su rappresentazioni latenti continue.