The Pulse
I ricercatori di Baidu propongono Virtual Head Attention per ridurre la cache KV
Ricercatori affiliati a Baidu e alla Peking University propongono Virtual Head Attention, un’architettura che riduce la cache chiave-valore dei modelli linguistici con l’obiettivo di preservare i risultati nei benchmark. Il loro articolo pr
AI.info Team · Scritto con l’IA ·
Ridurre la memoria usata dall’attenzione nei modelli linguistici può avere un costo: punteggi più bassi nei benchmark, più calcolo per l’addestramento o entrambi. Un gruppo di ricercatori affiliati a Baidu Inc. e alla Peking University propone Virtual Head Attention (VHA), che mira ad attenuare questo compromesso riducendo la cache chiave-valore senza sacrificare la qualità del modello misurata nei test. Gli autori hanno inviato il loro articolo ad arXiv il 13 ottobre 2026.
«La progettazione dei meccanismi di attenzione nei grandi modelli linguistici a contesto lungo si scontra con un “triangolo impossibile” tra dimensione della cache KV, FLOP di addestramento e di prefill, e qualità del modello».
Xibo Ding et al., «Virtual Head Attention»
Due operazioni durante l’addestramento, attenzione standard nell’inferenza
VHA aggiunge due operazioni lineari durante l’addestramento. Q Premix trasforma le teste di query all’interno di ciascun gruppo chiave-valore, consentendo a un numero minore di teste di query fisiche di rappresentare più teste «virtuali»; Linear Postmix combina le informazioni tra gli output delle teste di attenzione. L’approccio è progettato per recuperare parte della diversità persa quando l’architettura usa meno teste.
Secondo gli autori, dopo l’addestramento entrambe le operazioni possono essere incorporate nelle proiezioni di query e di output del modello. Nell’inferenza rimane quindi un’architettura standard di grouped-query attention, senza bisogno di un kernel di attenzione specifico per VHA. Secondo l’articolo, questo consente al modello di riutilizzare le ottimizzazioni GQA esistenti; l’affermazione riguarda l’architettura, non un aumento di velocità misurato su sistemi in uso.
Cache più piccole su quattro dimensioni di modello
Il confronto principale riguarda quattro dimensioni di modello, da 0,6 miliardi di parametri a un modello mixture-of-experts 8B-A1B. Ciascuno è stato preaddestrato su 50 miliardi di token con un contesto di 4.096 token, poi valutato su otto benchmark a scelta multipla zero-shot. Secondo l’articolo, a ogni dimensione il punteggio medio di VHA ha superato quello del corrispondente modello GQA di riferimento, con un vantaggio compreso tra 0,05 e 0,81 punti percentuali.
Con 1,7 miliardi di parametri, VHA ha usato 1 KB di cache chiave-valore BF16 per layer per token, contro i 4 KB di GQA-8. La sua media sugli otto compiti è stata di 54,50, contro 54,09 per GQA-8. Una versione GQA compressa fino alla stessa cache di 1 KB, ma priva delle operazioni di addestramento di VHA, ha ottenuto 52,38: un risultato che mostra perché la sola riduzione del numero di teste non riproduce il risultato riportato.
Gli autori calcolano inoltre che VHA richieda il 7,9% di FLOP in meno per l’addestramento e il prefill rispetto al modello GQA di riferimento, alla dimensione di 1,7 miliardi di parametri e con un contesto di 4.096 token. Nei test sui modelli densi, l’articolo riporta una cache quattro volte più piccola rispetto a GQA-8; per il modello MoE, una riduzione di due volte rispetto a GQA-4. Questi risparmi dipendono dall’architettura e dal modello di riferimento usato per il confronto, e non indicano un’unica riduzione valida in ogni caso.
Risultati sui modelli più grandi e sul contesto lungo in test separati
In un esperimento separato su un modello MoE 30B-A3B, addestrato su 500 miliardi di token con un contesto di 8.192 token, VHA ha ottenuto 50,36 nella macromedia calcolata dall’articolo su 12 benchmark per modelli base. Le medie riportate sono 49,66 per multi-head latent attention e 47,76 per GQA-4; le dimensioni della cache indicate sono rispettivamente 1 KB, 1,12 KB e 2 KB per layer per token.
Un altro esperimento ha valutato le prestazioni su contesti lunghi di un modello MoE 10B-A1B usando RULER. VHA ha ottenuto una media di 84,4 su lunghezze di contesto da 8K a 128K, contro 73,0 per GQA, usando due teste chiave-valore anziché quattro nei layer di attenzione completa. Poiché si tratta di studi separati con configurazioni dei modelli diverse, i loro risultati non vanno letti come un’unica serie di benchmark direttamente confrontabili.
L’implementazione di PaddlePaddle ha un limite al parallelismo
Il gruppo ha pubblicato un’implementazione nel repository PaddlePaddle VHA, insieme a un piccolo esempio con GPT e ad alcuni test. Secondo il repository, l’implementazione attuale richiede un grado di parallelismo tensoriale pari a 1, un limite pratico per chi intende eseguire questa architettura di attenzione su più partizioni del modello in parallelo.
Le prove presentate finora riguardano soprattutto l’accuratezza nei benchmark e il calcolo computazionale stimato, non un test di velocità riportato per l’erogazione del modello in produzione. La scommessa ingegneristica alla base di VHA è che la combinazione delle informazioni durante l’addestramento possa ripristinare la qualità lasciando il modello, nell’inferenza, compatibile con i comuni kernel GQA; le tabelle dell’articolo e il vincolo del repository a un grado di parallelismo pari a 1 delimitano ciò che è stato dimostrato pubblicamente.