Persi nel recupero: fare luce sul comportamento di recupero degli agenti che usano il computer attraverso la riproduzione di azioni orientata agli obiettivi

Abstract degli autori

I recenti progressi nei grandi modelli linguistici (visivi) hanno reso possibili agenti che usano il computer per automatizzare flussi di lavoro digitali tramite operazioni dettagliate con tastiera e mouse. Tuttavia, questi agenti restano fragili negli scenari a lungo orizzonte, in cui gli errori si accumulano e le azioni eseguite producono effetti collaterali indesiderati, rendendo fondamentale la capacità di riprendersi dai fallimenti. Le soluzioni esistenti, però, sono ancora inadeguate: ripristinare gli ambienti è impraticabile in contesti proprietari, riprodurre le azioni è proibitivamente costoso su orizzonti lunghi e il rollback basato su API è limitato agli ambienti web; di conseguenza, il recupero basato su modelli è rimasto in gran parte inesplorato. Per colmare questa lacuna, presentiamo ReTrace, un framework di valutazione scalabile per studiare sistematicamente il comportamento di recupero degli agenti che usano il computer. Formalizziamo il recupero coerente con le transizioni: le stesse azioni successive, eseguite a partire dallo stato recuperato e dallo stato bersaglio, devono produrre esiti identici. Rendiamo operativo questo criterio tramite la riproduzione di azioni orientata agli obiettivi, dopo l’iniezione controllata di errori. Con ReTrace presentiamo il primo studio sistematico sul recupero autonomo basato su modelli, mostrando che (i) un recupero ideale può sbloccare le capacità latenti del modello di portare a termine i compiti, (ii) gli attuali agenti che usano il computer non riescono a sfruttare le proprie capacità latenti di recupero e (iii) un recupero accurato basato su modelli produce miglioramenti misurabili end-to-end. Nel loro insieme, questi risultati stabiliscono che il recupero è una capacità fondamentale per realizzare agenti affidabili che usano il computer. Il nostro codice e il nostro dataset sono disponibili all’indirizzo https://github.com/BangProx/ReTRACE.