Compressione del contesto nel modello con soft token agentici per agenti LLM su orizzonti lunghi

Abstract degli autori

Gli agenti LLM su orizzonti lunghi svolgono un ruolo importante nella risoluzione di compiti complessi e prolungati, con contesti di interazione in continua espansione. Tuttavia, l’accumularsi di questi contesti comporta costi computazionali considerevoli e può rendere meno evidenti gli elementi chiave utili per prendere decisioni. I metodi esistenti addestrano in genere compressori esterni o agenti per la gestione del contesto affinché riscrivano il contesto in sequenze più brevi di token rigidi; questa selezione esterna, però, potrebbe non essere in linea con la rappresentazione in evoluzione dell’LLM ed è necessariamente soggetta a perdite. In questo articolo presentiamo Agentic Soft-Token Compression (ASTC), un metodo di compressione senza addestramento che usa soft token all’interno dell’agente LLM per compiti su orizzonti lunghi. Nello specifico, ASTC usa la dinamica ricorrente nativa del modello per determinare quali informazioni siano già state assorbite, sfruttando il meccanismo ibrido Gated Delta Network (GDN)-attention, di uso comune. Trasporta quindi queste informazioni come soft token agentici, mantenendo al contempo i valori esatti sotto forma di token rigidi. La sequenza compatta così ottenuta riduce il calcolo negli strati successivi e produce cache KV riutilizzabili, estendendo il risparmio lungo la traiettoria dell’agente. Esperimenti approfonditi su compiti su orizzonti lunghi mostrano che ASTC eguaglia o supera la precisione dell’agente non compresso con fino al 50,68% in meno di Attention Pairs complessivi, mentre i compressori addestrati richiedono da 15,4 a 103,7 volte più Attention Pairs per ogni compito completato con successo. Questi risultati indicano che i soft token agentici sono un metodo nativo del modello per trasportare in avanti il contesto assorbito mentre la rappresentazione del compito evolve.