Memoria persistente nell’inferenza multiagente con LLM: quanto costa, quali vantaggi offre e quando è possibile rilevarli

Abstract degli autori

Distribuire l’inferenza su contesti lunghi tra agenti che cooperano limita la cache KV attiva per ogni chiamata, non la quantità totale di evidenze: una distinzione importante quando la memoria occupata dalla cache KV è il fattore limitante. Molti sistemi di questo tipo aggiungono un livello persistente che memorizza e richiama tracce di ragionamento, solitamente convalidato da uno studio di ablazione che segnala un aumento dell’accuratezza. Misuriamo entrambi gli aspetti in un’architettura ad agenti su tre livelli. La distribuzione dell’inferenza dà risultati: l’insieme di lavoro KV al picco è di 14,3 MiB per query, contro 35,5 e 35,3 MiB per i sistemi di riferimento, rispettivamente a passaggio unico e con recupero delle informazioni. Il livello persistente, invece, no: su otto coppie controllate di dataset, con n=100 per gruppo, comporta +0,368 MiB [+0,167, +0,590] di cache al picco e non produce alcuna variazione rilevabile dell’accuratezza (+0,015, intervallo di confidenza al 95% [-0,011, +0,046]). Sosteniamo che il risultato nullo abbia una causa strutturale: nei benchmark basati su singole domande, ogni elemento dispone delle proprie evidenze e viene valutato indipendentemente; inoltre, per garantire la correttezza occorre azzerare le tracce memorizzate tra le diverse condizioni. Il richiamo non ha quindi nulla di informativo da recuperare. Per arrivare a questo risultato sono state necessarie quattro correzioni delle misurazioni: tre gonfiavano il beneficio apparente, mentre la quarta faceva sembrare rilevabile un effetto di tale entità. Nessuna è visibile nella tabella dei risultati. Indichiamo le condizioni che uno studio di ablazione della memoria degli agenti deve soddisfare e procedure di rilevamento che non richiedono di conoscere il difetto specifico.