Modelli linguistici contestuali

Abstract degli autori

Presentiamo Context Language Models (CLMs), modelli linguistici che gestiscono autonomamente il proprio contesto. Per realizzarli, trattiamo il contesto come un file e consentiamo al modello di modificarlo senza restrizioni. Il modello può così imparare quali informazioni sia più importante mantenere nel contesto. Questo approccio si estende naturalmente ai sistemi multi-agente, in cui i contesti di più agenti coesistono sotto forma di file. I CLM costruiti in modalità zero-shot con modelli esistenti superano le strategie di gestione del contesto allo stato dell’arte in diversi compiti: su BrowseComp-Plus ottengono un’accuratezza superiore dell’11,4% con il 21,5% di FLOPs in meno; su EdgeBench da 12 ore, punteggi superiori del 5% con il 59% di FLOPs in meno; e in un compito di 24 ore che coinvolge uno sciame di agenti su più repository, un miglioramento maggiore del 65% a parità di risorse computazionali. Inoltre, spostando la gestione del contesto dal controllo di un’infrastruttura esterna al comportamento intrinseco del modello, i CLM consentono naturalmente sia l’apprendimento nel contesto sia quello parametrico delle strategie di gestione del contesto. Mostriamo che è possibile guidare i CLM con istruzioni in linguaggio naturale evolute attraverso un ciclo standard di ottimizzazione delle competenze, aumentando fino a 35,9 punti l’accuratezza su dati tenuti da parte in un compito di gestione del contesto e riducendo al tempo stesso le risorse computazionali impiegate. Presentiamo anche un metodo di apprendimento per rinforzo online per i CLM, che migliora del 47,6% le prestazioni di Qwen3.5-9B su BrowseComp-Plus utilizzando il 12% di FLOPs in meno. Infine, progettiamo congiuntamente Suffix Cache Reuse per l’erogazione dei CLM, riducendo ulteriormente del 35% le risorse computazionali necessarie lato server rispetto a SGLang standard, a parità di prestazioni.