REMORY: apprendere una memoria residua per compattare il contesto

Abstract degli autori

Gli agenti che operano su orizzonti lunghi compattano la propria cronologia per poter proseguire entro una finestra di contesto finita, ma un riassunto testuale da solo potrebbe non bastare per ogni decisione successiva. Presentiamo REMORY, una rete neurale di memoria che integra il riassunto con una sequenza di lunghezza limitata di token di memoria soft. A partire dalla cronologia e dal riassunto, la rete impara a generare token che aiutano un LLM congelato ad approssimare la continuazione che produrrebbe disponendo dell’intera cronologia. I token sono condizionati dal riassunto e aggiunti dopo di esso, formando l’analogo di una connessione residua lungo la dimensione della sequenza. Su SummHay, REMORY migliora l’attribuzione delle fonti mantenendo pressoché invariata la copertura degli insight e si avvicina al punteggio congiunto ottenuto con il contesto completo usando solo il 5,2% delle posizioni dell’input. Nei benchmark per agenti che operano su orizzonti lunghi, Qwen3.8-27B e GLM-5.3-Flash mostrano miglioramenti costanti con la memoria residua. Su BrowseComp e Terminal-Bench 2.1, entrambi i modelli producono anche un numero nettamente inferiore di output ripetuti degli strumenti e di errori degli strumenti.