Intern Lumina U2: un modello linguistico di grandi dimensioni a diffusione con più codebook per la comprensione visiva a tutto campo e la generazione di immagini

Abstract degli autori

La generazione multimodale unificata comprende approcci discreti, continui e ibridi. Gli approcci discreti che usano tokenizzatori visivi con un unico codebook si accordano naturalmente con la modellazione del testo, ma hanno una capacità rappresentativa limitata. Gli approcci continui e ibridi conservano rappresentazioni visive più ricche, ma modellano testo e immagini in spazi eterogenei, con obiettivi di addestramento diversi: ciò può creare conflitti nell’ottimizzazione tra modalità i cui spazi di rappresentazione non sono allineati. Queste scelte pongono una questione centrale: come modellare in modo efficiente rappresentazioni visive ad alta capacità insieme al contenuto testuale, in uno spazio di ottimizzazione condiviso e con un unico backbone? Presentiamo Intern Lumina U2, a nostra conoscenza il primo modello linguistico a diffusione che rappresenta token visivi con più codebook in uno spazio interamente discreto. Ogni posizione visiva è rappresentata da un gruppo di codici provenienti da codebook complementari: questo ne aumenta la capacità rappresentativa, preservando la compatibilità con la modellazione discreta del testo. In input, gli embedding vengono concatenati in ogni posizione; in output, una componente autoregressiva leggera con più codebook predice in sequenza i codici all’interno di ciascuna posizione, mentre il backbone a diffusione elabora tutte le posizioni in parallelo. Basato sulla rappresentazione 4D unificata di AToken, Intern Lumina U2 supporta input di immagini, video e dati 3D con un unico backbone e ottiene prestazioni ai vertici tra i modelli unificati nella comprensione visiva, nella generazione di immagini e nella modifica delle immagini. Abbiamo inoltre realizzato un sistema completo per l’addestramento, l’inferenza e la valutazione sulle piattaforme Ascend e NVIDIA, per verificare l’efficacia del nostro modello su entrambe. Miglioriamo anche l’efficienza dell’inferenza con una strategia di campionamento che tiene conto della stabilità: combina un metodo di rimozione delle maschere guidato da un plateau della confidenza con meccanismi di aggiornamento della cache attivati dalla deriva, accelerando la generazione di immagini di 4,45 volte.