Comunicazione selettiva e a stati ibridi per sistemi multiagente latenti

Abstract degli autori

La comunicazione efficiente resta un importante collo di bottiglia nei sistemi multiagente basati su modelli linguistici di grandi dimensioni. La comunicazione latente riduce gli scambi ripetuti in linguaggio naturale trasferendo gli stati interni dei modelli tra agenti, ma questi trasferimenti restano costosi e sono in genere progettati sulla base delle rappresentazioni convenzionali delle KV cache. Affrontiamo il problema da due prospettive complementari. Presentiamo SelectKV, un metodo consapevole dei confini che comunica selettivamente gli stati KV proteggendo al contempo il contesto ereditato, e HyLaMAS, che estende la collaborazione latente ai modelli ibridi con attenzione lineare comunicando sia le KV cache sia gli stati ricorrenti tramite uno spazio di lavoro condiviso. Su sei benchmark, SelectKV riduce del 9,7–9,9% le posizioni KV comunicate e il payload KV logico; l’accuratezza resta invariata su due benchmark, si discosta di meno di un punto percentuale su tre ed è inferiore di sei punti su HumanEval+. Alle diverse dimensioni dei modelli Qwen3.5, HyLaMAS riduce del 53–80% i token di output decodificati e raggiunge velocità da 1,16 a 2,78 volte superiori rispetto alla comunicazione multiagente basata sul testo. Nel loro insieme, questi metodi, valutati in modo indipendente, rappresentano due approcci complementari alla comunicazione efficiente degli stati latenti nelle architetture convenzionali Transformer e in quelle ibride.