VisionWeave: intrecciare rappresentazioni visive elastiche come capacità nativa degli MLLM

Abstract degli autori

I modelli linguistici multimodali di grandi dimensioni sono diventati l’approccio dominante alla comprensione visiva, ma comportano costi considerevoli perché codificano gli input in token di patch densi e di dimensioni fisse. Le informazioni visive, però, sono distribuite in modo disomogeneo: alcune regioni richiedono dettagli fini, mentre per altre bastano rappresentazioni compatte. La riduzione della risoluzione sacrifica quei dettagli, mentre gli approcci esistenti basati sulla rimozione dei token o sull’adattamento restano limitati nella capacità di adeguare la granularità al contenuto, nella generalizzazione tra compiti e nell’integrazione con gli MLLM moderni e le infrastrutture di serving. Per superare questi limiti servono modelli fondazionali che imparino, dall’inizio alla fine, dove allocare le rappresentazioni visive e con quale granularità: una capacità nativa che chiamiamo «intreccio di rappresentazioni visive elastiche». Presentiamo VisionWeave, che introduce questa capacità negli MLLM all’avanguardia attraverso un addestramento su larga scala. Combina due componenti: un modulo di pooling spaziale con gating costruisce rappresentazioni a granularità grossolana accanto a rappresentazioni native a granularità fine, all’interno di un sistema di coordinate MRoPE condiviso; un modulo di instradamento della granularità impara invece ad allocarle in base al contenuto. Con la sola auto-distillazione, verifichiamo questa capacità su Qwen3.5-4B e la estendiamo a Qwen3.8-27B impiegando oltre 30K ore-GPU A100. Basato su Qwen3.8-27B, VisionWeave adatta il risparmio di token al contenuto visivo: risparmia in media il 43,0% dei token mantenendo il 98,9% delle prestazioni native su otto benchmark. I metodi di riferimento basati sulla rimozione dei token, con un obiettivo fisso di risparmio del 50%, conservano invece soltanto l’88% delle prestazioni. Valutazioni approfondite confermano compromessi solidi tra efficienza e qualità su compiti, risoluzioni e fotogrammi video diversi. Quando viene implementato sul motore di serving SGLang, il nostro metodo aumenta il throughput di 2,3 volte, riducendo il TTFT medio del 54,4% e il TPOT medio del 60,6%. Nel complesso, riteniamo che questi risultati rendano l’intreccio di rappresentazioni visive elastiche una capacità promettente per la prossima generazione di modelli multimodali.