Pensa prima di parlare: rendere possibile la comunicazione latente senza addestramento tra modelli linguistici

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato notevoli capacità nel risolvere compiti complessi di programmazione, logica matematica e ragionamento iterativo, soprattutto quando si coordinano efficacemente all’interno di sistemi multiagente (MAS). Tradizionalmente, però, gli agenti linguistici comunicano scambiandosi testi: questo crea un collo di bottiglia nel trasferimento delle informazioni e aumenta la latenza della fase di prefill per gli agenti a valle. Un recente studio propone che la condivisione diretta della cache key-value (KV) tra modelli linguistici possa consentire una collaborazione latente efficiente, senza ricorrere alla consueta comunicazione basata sul testo. Per permettere la comunicazione latente tra modelli eterogenei di dimensioni diverse, studi precedenti hanno introdotto adattatori di fusione addestrati per ciascuna coppia di modelli, limitandone l’impiego pratico. Presentiamo CacheFuse, un metodo che non richiede addestramento e dimostra che integrare la cache KV di un modello a monte in un modello a valle mediante interpolazione lineare consente sistematicamente di ottenere prestazioni superiori a quelle del modello a valle usato da solo. Analizziamo sistematicamente CacheFuse su quattro benchmark di ragionamento e conoscenza e mostriamo un’accuratezza superiore fino a 8,6 punti percentuali rispetto ai valori di riferimento dei singoli modelli e un’accelerazione del TTFT fino a 12,2 volte rispetto alla comunicazione basata sul testo nell’inferenza con più modelli.