Uno sguardo più ampio alle teste di retrieval degli MLLM

Abstract degli autori

Individuare prove pertinenti in input lunghi è una capacità fondamentale dei modelli linguistici multimodali di grandi dimensioni. Studi precedenti attribuiscono questa capacità alle teste di retrieval, un insieme sparso di teste di attenzione che trasferiscono informazioni dal contesto all’output. Tuttavia, queste analisi si limitano a un numero ristretto di modalità e ai modelli corrispondenti. Inoltre, occorre approfondire come sfruttare le teste di retrieval per migliorare il modello. In questo articolo ci chiediamo se questo meccanismo si estenda insieme alle modalità di input del modello. Considerando l’input audiovisivo come una nuova modalità, creiamo input appaiati in cui la stessa risposta viene pronunciata oppure mostrata sullo schermo. A parità di contenuto delle prove, le teste di retrieval rimangono sparse nella nuova modalità e sono in larga misura condivise tra le modalità. Nei 18 checkpoint linguistici, visione-linguaggio e omnimodali analizzati, i modelli omnimodali conservano in gran parte le teste di retrieval dei rispettivi modelli di base. L’ablazione di queste teste elimina quasi del tutto il recupero audiovisivo. Le teste condivise tra le modalità costituiscono meno del 2\% di tutte le teste; tuttavia, la loro ablazione peggiora anche la comprensione dei documenti, la percezione spaziale e la matematica visiva. Sulla base di questi risultati, trasformiamo le teste di retrieval in un obiettivo di ottimizzazione, addestrando la loro attenzione con un obiettivo di ranking. Questo aumenta di 6,03 punti il Recall@1 a livello di pagina di Qwen3-VL-8B su MMDocIR e migliora il recupero dei documenti in tre famiglie di modelli. Le teste di attenzione funzionali possono quindi fungere sia da lente per studiare i modelli multimodali sia da obiettivo per migliorarli.