HydraLLM: suddivisione adattiva della larghezza per modelli elastici di testo e visione-linguaggio

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) e i modelli visione-linguaggio di grandi dimensioni (LVLM) vengono impiegati sempre più spesso su hardware eterogeneo, dalle GPU dei data center ai dispositivi edge con risorse limitate. Le loro architetture a dimensioni fisse limitano la possibilità di riutilizzare un unico modello in contesti d’impiego con obiettivi diversi in termini di capacità di calcolo, latenza e dimensioni del modello. Presentiamo HydraLLM, un’architettura elastica basata su MQA. Il numero di teste di attenzione attive determina le larghezze effettive degli embedding, delle proiezioni dell’attenzione, dei livelli feed-forward e della testa di output, formando una famiglia annidata di sottoreti all’interno di un unico insieme di parametri. Presentiamo una procedura di conversione da statico a elastico che, partendo da un checkpoint di un modello preaddestrato, comprende il riordinamento dei pesi in base alla loro importanza e l’addestramento stocastico delle sottoreti con distillazione della conoscenza. Estendiamo questo principio all’inferenza multimodale tramite un modulo di proiezione elastico la cui larghezza di output segue quella del testo attiva. HydraLLM copre una gamma più ampia di configurazioni dei parametri attivi rispetto alle architetture elastiche che intervengono solo sui livelli FFN. Con il 75% delle teste attive, HydraLLM raggiunge un’accuratezza su TriviaQA superiore di 2,2 punti percentuali rispetto a una configurazione di riferimento annidata all’avanguardia che ha il 17,25% di parametri in più. Con il 50% delle teste attive, il nostro modello multimodale ottiene un CLIPScore paragonabile a quello del modello Gemma 3 4B, 7$\times$ più grande. Con solo il 25% delle teste attive, HydraLLM aumenta il throughput di generazione dei token del 75,3% rispetto alla configurazione a larghezza piena.