Memoria in evoluzione, imparare il metacontrollo: adattamento in fase di test per agenti LLM arricchiti dall’esperienza

Abstract degli autori

Gli agenti auto-evolutivi accumulano esperienza dai flussi di compiti, ma i framework esistenti si affidano in genere a pipeline fisse per recuperare e utilizzare tale esperienza, trascurando quando e come impiegarla. Presentiamo Online Meta-Control of Experience (OMCE), un framework che aggiorna la memoria dell’esperienza e apprende una policy di metacontrollo dai feedback sui compiti durante l’adattamento in fase di test. OMCE impiega un meta-controller leggero basato su bandit contestuale, che usa segnali compatti di recupero per scegliere tra quattro azioni cognitive: DIRECT, EPISODE, GUIDE e DISTILL. Questo meccanismo di instradamento rende operative tre decisioni interconnesse: se attingere all’esperienza, quale formato di memoria utilizzare e quando consolidare nuove indicazioni. OMCE si evolve online, sfruttando i feedback sui compiti per aggiornare il banco di memoria e perfezionare la policy di instradamento tramite aggiornamenti basati su bandit contestuale. Gli esperimenti su quattro benchmark di adattamento online e quattro modelli di base mostrano che OMCE aumenta fino a 20,5 punti percentuali il successo al primo tentativo rispetto al baseline più forte tra quelli confrontati, riducendo al contempo il consumo di token per compito di un fattore compreso tra 5,7 e 62,5 rispetto ad ACE con GPT-5.2. Ulteriori ablazioni controllate confermano i vantaggi dell’instradamento appreso e del continuo adattamento della policy di instradamento.