FocusVTC: compressione visiva del testo efficiente e ad alte prestazioni con risoluzione adattiva

Abstract degli autori

Il ragionamento su contesti lunghi nei grandi modelli linguistici comporta costi computazionali e di memoria considerevoli. La compressione visiva del testo (VTC) riduce la lunghezza dell’input trasformando il testo in immagini, ma l’uso di una risoluzione fissa impone un compromesso tra compressione e prestazioni: una bassa densità di DPI fa risparmiare token a scapito della leggibilità, mentre una densità elevata consuma token per contenuti irrilevanti. Presentiamo FocusVTC, che supera questo compromesso grazie alla risoluzione adattiva, preservando al tempo stesso le capacità multimodali generali. Combina viste globali compresse a bassa densità di DPI con il miglioramento selettivo di alcune regioni, integrando le viste migliorate nel ragionamento in corso. Creiamo 29,4K esempi di alta qualità di catene di pensiero (REL-CoT) per la localizzazione delle evidenze del ragionamento (Reasoning-Evidence Localization, REL), che collegano le tracce del ragionamento agli indici delle pagine e ai riquadri di delimitazione. Il fine-tuning supervisionato REL a più risoluzioni (REL-SFT) insegna al modello a localizzare le regioni pertinenti, mentre Group Relative Policy Optimization gli permette di apprendere quando aumentare la risoluzione e come usare le osservazioni ottenute, senza una fase separata di preaddestramento continuo. A 72 DPI su RULER v1, FocusVTC ottiene 87,4 punti con una compressione dell’input pari a $2.9\times$, incluse le osservazioni degli strumenti, contro i 57,5 punti di Glyph con una compressione dell’input pari a $3.0\times$. Supera il modello di base da cui deriva quando questo riceve input testuale su LongBench (56,40 contro 55,86), migliora la media macro di MRCR di 13,91 punti e raggiunge una media macro di 51,19 su VTCBench. La valutazione della latenza su MRCR mostra inoltre un’accelerazione end-to-end online pari a $2.79\times$ rispetto a Text. Le capacità multimodali generali restano inalterate: il punteggio su MMMU passa da 65,12 a 66,73 e quello su MME da 2424,02 a 2457,62.