V-LUMEN: memoria visiva basata su lookup per lo scaling degli embedding nei modelli visione-linguaggio

Abstract degli autori

Lo scaling a livello degli embedding aumenta la capacità dei modelli linguistici ricorrendo a una memoria basata su lookup, anziché aumentare la profondità o la larghezza del modello oppure il calcolo denso. Estendere questa idea ai modelli visione-linguaggio (VLM) è difficile: a differenza dei token testuali discreti, che si prestano alla ricerca di n-grammi, le caratteristiche visive sono continue, hanno una struttura spaziale e dipendono dalla richiesta. Presentiamo V-LUMEN, una memoria visiva basata su lookup per i VLM. V-LUMEN discretizza le caratteristiche visive con un codebook congelato, costruisce chiavi di memoria che tengono conto della struttura spaziale mediante un hashing basato sull’aggregazione spaziale e le modula con segnali di pertinenza condizionati dal testo. L’intero meccanismo di indirizzamento è non parametrico e gli embedding recuperati vengono integrati nel backbone attraverso un percorso residuo con gating. Su cinque benchmark che richiedono un ragionamento intensivo, V-LUMEN migliora notevolmente un backbone Qwen3-VL-2B congelato e si trasferisce in modalità zero-shot a tre benchmark le cui immagini sono distinte da quelle dei dati di addestramento. A parità di numero di parametri, trasferire a V-LUMEN parte della capacità di un adattatore LoRA o MoE preserva l’accuratezza su due backbone: ciò indica che la memoria visiva esterna costituisce una dimensione indipendente lungo cui aumentare la capacità, anziché un metodo di adattamento più efficace. Poiché il costo del lookup è costante rispetto alle dimensioni della tabella e viene sostenuto una sola volta durante il prefill, questa capacità cresce in termini di spazio di archiviazione anziché di calcolo per token. Il codice è disponibile all’indirizzo https://github.com/miso-choi/V-Lumen.