Che cosa ha fatto davvero l’agente? Supervisione fondata sulle evidenze per agenti impegnati in compiti di lunga durata

Abstract degli autori

Man mano che gli agenti assumono compiti di lunga durata, gli utenti passano dal prendere singole decisioni al supervisionare un’esecuzione autonoma. Tuttavia, la mole delle attività degli agenti e la frammentazione delle evidenze a supporto rendono difficile stabilire quali decisioni richiedano una verifica da parte degli utenti. Studiamo sistemi di monitoraggio che individuano le decisioni rilevanti e localizzano le evidenze per aiutare gli utenti a valutarne le implicazioni. Introduciamo AgentMonBench, un benchmark di ingegneria del software composto da tre sottoinsiemi che coprono due dimensioni complementari: l’allineamento tra requisiti e comportamento e la consapevolezza delle decisioni autonome rilevanti da sottoporre a verifica. Per agevolare queste valutazioni, proponiamo Evidence-Grounded Behavior Graph (EBG), un metodo che non richiede addestramento e che raggruppa in comportamenti le evidenze collegate alle fonti, organizzando le loro relazioni in un grafo. EBG presenta viste del grafo orientate al compito per aiutare i sistemi di monitoraggio a interpretare il comportamento nel suo contesto. Esperimenti condotti su otto modelli mostrano che, rispetto all’accesso diretto al contesto originale, EBG migliora l’individuazione delle decisioni e la localizzazione delle evidenze nella maggior parte delle condizioni sperimentali. Ulteriori esperimenti mostrano che i miglioramenti nella localizzazione delle evidenze ottenuti con EBG persistono al variare delle dimensioni degli input e delle configurazioni degli iperparametri, mentre applicazioni nel mondo reale ne illustrano il valore pratico per la supervisione umana.