I token discreti possono rappresentare i segnali visivi senza perdita semantica?

Abstract degli autori

I token visivi discreti rappresentano le informazioni visive in una forma discreta analoga a quella del linguaggio e offrono un’interfaccia nativa per la modellazione multimodale basata su un obiettivo condiviso di previsione del token successivo. Si ritiene tuttavia che l’errore di quantizzazione provochi inevitabilmente una perdita semantica, limitando in modo fondamentale la fedeltà semantica dei token visivi discreti e ponendo le rappresentazioni visive continue come limite superiore intrinseco. Usando la comprensione multimodale come indicatore della fedeltà semantica, riesaminiamo questa ipotesi e scopriamo che l’errore di quantizzazione non è un indicatore affidabile: rappresentazioni discrete con errori nettamente maggiori possono ottenere una comprensione migliore. Emerge invece come fattore determinante per le prestazioni nei compiti successivi il numero effettivo di bit disponibili per gli indici discreti. I quantizzatori esistenti, però, raggiungono prima o poi un punto di saturazione, perché ogni codebook aggiuntivo apporta progressivamente meno informazioni semantiche. Per attenuare questa saturazione, introduciamo Factorized Vector Quantization, che quantizza viste complementari, ciascuna di dimensione fissa, della caratteristica visiva mediante codebook paralleli simmetrici. Le sue prestazioni continuano a migliorare anche con un maggior numero di bit disponibili, fino a eguagliare le rappresentazioni visive continue nella comprensione multimodale. Addestrato su dati multimodali su scala industriale, il nostro modello ottiene prestazioni allo stato dell’arte tra i modelli basati su rappresentazioni discrete, superando UniAR ed Emu3-Chat rispettivamente del 22,8% e del 59,2% sulla media di nove metriche. Per quanto ne sappiamo, è anche il primo modello basato su rappresentazioni discrete competitivo con modelli solidi basati su rappresentazioni continue, come Qwen3-VL, anche nei compiti di OCR a grana fine. Individuiamo inoltre i principi chiave e una procedura pratica che rendono possibile questa competitività. Questi risultati e queste osservazioni indicano che le rappresentazioni visive discrete potrebbero costituire la base di modelli fondativi multimodali nativi su larga scala. Il codice e i modelli sono disponibili all’indirizzo https://github.com/hustvl/FVQ