HABIT-Bench: valutare l’inferenza delle abitudini da evidenze deboli longitudinali nella memoria degli agenti

Abstract degli autori

Nelle interazioni a lungo termine con agenti basati su modelli linguistici di grandi dimensioni (LLM), gli utenti rivelano le proprie abitudini attraverso scelte e azioni. Queste abitudini racchiudono informazioni implicite sugli utenti che gli agenti devono inferire nel corso delle conversazioni. Tuttavia, una singola osservazione può fornire solo indizi parziali su un’abitudine o sulle circostanze in cui si applica. Conservare le interazioni passate, da solo, non garantisce che gli agenti sappiano inferire le abitudini e applicarle in modo appropriato. Presentiamo HABIT-Bench per valutare quanto bene i sistemi di memoria degli agenti inferiscano le abitudini da evidenze deboli e le applichino alle richieste successive. Costruiamo storie sintetiche degli utenti a partire da dati di dialoghi orientati a compiti specifici e da grafi controllati delle abitudini. Le storie coprono centinaia di sessioni negli ambiti dell’alimentazione, della finanza, del software e dei viaggi. Compiti con quattro opzioni valutano la capacità degli agenti di inferire le abitudini degli utenti e applicarle in modo appropriato. Comprendono eccezioni temporanee, cambiamenti nelle abitudini e suggerimenti che gli utenti non hanno accettato. Un campione dei compiti è sottoposto a revisione umana indipendente. Valutiamo otto metodi di memoria con Qwen3-235B-A22B e GLM-5.3-Flash. Il metodo di memoria più efficace raggiunge un’accuratezza macro del 33,61\% nei quattro ambiti. Le prestazioni restano limitate anche quando le evidenze annotate vengono fornite direttamente. Questi risultati mettono in luce un divario persistente tra l’accesso alle interazioni passate e la capacità di inferire e usare in modo appropriato le abitudini degli utenti.