Dove collegare? Potenziare gli MLLM con percorsi dinamici a gating tra tutti i livelli di ViT e LLM

Abstract degli autori

Una questione centrale, ma ancora poco esplorata, nei modelli linguistici multimodali di grandi dimensioni (MLLM) è dove collegare: come integrare le informazioni visive provenienti da un encoder visivo gerarchico con la semantica specifica dei vari livelli di un modello linguistico di grandi dimensioni. Gli MLLM più diffusi immettono nell’LLM una rappresentazione visiva fissa, proveniente da un singolo livello, e trattano tutti i livelli dell’LLM come un unico destinatario, ignorando che livelli diversi richiedono granularità visive diverse. I recenti metodi di fusione multilivello o comprimono le caratteristiche gerarchiche dal lato dell’encoder oppure si affidano a connessioni predefinite e sparse o gerarchiche tra i livelli, senza quindi arrivare a modellare le interazioni adattive tra i livelli delle gerarchie di ViT e LLM. Colmiamo questa lacuna con DGP (Dynamic Gated Pathways), un meccanismo di instradamento che stabilisce connessioni complete tra ogni livello di ViT e ogni livello di LLM; ciascun livello dell’LLM applica dinamicamente un gate alla propria preferenza per i livelli visivi, in funzione del proprio stato semantico. Basato su LLaVA-1.5-7B e 13B, DGP offre miglioramenti costanti rispetto al modello di riferimento LLaVA-1.5-7B (per esempio, +4,2 su SQA$^{I}$, +3,3 su MM-Vet, +3,1 su VizWiz e LLaVA$^{W}$) e supera i precedenti metodi di fusione visiva multilivello nella maggior parte dei benchmark. Le analisi dell’instradamento livello per livello mostrano inoltre che livelli diversi dell’LLM selezionano effettivamente, secondo necessità, granularità visive diverse, a sostegno sia dell’efficacia sia dell’interpretabilità dei percorsi dinamici con gating proposti. Il codice è disponibile: https://github.com/YingyingYan1/DGP.