Imparare a ricordare: scegliere la modalità della memoria per gli agent GUI

Abstract degli autori

I recenti progressi nei modelli visione-linguaggio (VLM) hanno migliorato notevolmente le capacità degli agent GUI, mentre l’integrazione della memoria si è affermata come approccio promettente per riutilizzare le conoscenze acquisite nelle interazioni passate. Tuttavia, gli agent GUI dotati di memoria adottano generalmente una strategia di rappresentazione fissa, fornendo le esperienze recuperate in una modalità statica. Non è ancora chiaro se una sola modalità della memoria sia sempre ottimale, né come cambi la preferenza per una modalità nei diversi passaggi dell’interazione. In questo lavoro conduciamo uno studio sistematico delle modalità della memoria negli agent GUI basati su VLM. Su diversi benchmark GUI riscontriamo che la rappresentazione della memoria preferibile dipende fortemente dal passaggio. Sulla base di questo risultato, presentiamo \textbf{SwitchMem}, un sistema di instradamento che seleziona dinamicamente, a ogni passaggio, tra rappresentazioni testuali e visive della memoria. Su tre benchmark GUI, SwitchMem supera i sistemi di confronto dotati di memoria che si affidano a rappresentazioni statiche. I nostri risultati confermano che la scelta della modalità della memoria dipende dal passaggio, anziché essere una decisione progettuale fissa. Il codice e le risorse del progetto sono disponibili all’indirizzo https://txxnrd.github.io/switchmem