Gli strumenti non devono necessariamente parlare in testo: compressione latente del contesto per agenti

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni (LLM) aggiungono di norma al proprio contesto gli output grezzi degli strumenti. Nel corso di interazioni articolate in più passaggi, osservazioni lunghe e rumorose comportano un notevole sovraccarico del contesto e distolgono l’attenzione dell’agente dalle informazioni pertinenti al compito. I metodi esistenti di pruning dei token e di sintesi restano vincolati a rappresentazioni testuali discrete, limitando i rapporti di compressione raggiungibili. In questo lavoro mettiamo in discussione l’assunto prevalente secondo cui gli agenti debbano ricevere le osservazioni degli strumenti sotto forma di token di testo espliciti. A questo scopo, proponiamo Coca-Cola, un modello di compressione latente continua del contesto per agenti LLM. Coca-Cola comprime le osservazioni degli strumenti in token latenti e li inserisce nello spazio degli embedding di input dell’agente. Introduciamo inoltre l’Action-Preserving Training, che allinea le distribuzioni delle azioni successive dell’agente in presenza di osservazioni complete e compresse. In questo modo, il modello di compressione impara a generare token latenti sufficienti a determinare le azioni e a conservare le informazioni cruciali per le decisioni. Gli esperimenti con agenti di ricerca sul web, condotti su quattro benchmark di QA e due famiglie di modelli, mostrano che Coca-Cola riduce il consumo di token dell’agente del 70,01%-89,24% e il tempo di esecuzione end-to-end del 24,45%-55,97%, migliorando al contempo con regolarità le prestazioni nei compiti. Questi risultati suggeriscono che Coca-Cola rappresenti un approccio promettente alla compressione del contesto negli agenti. Il nostro codice è disponibile all’indirizzo https://github.com/THU-Agent/Coca-cola.