TimeEvo: autoevoluzione di un agente per serie temporali guidata dai fallimenti

Abstract degli autori

Gli agenti per serie temporali rispondono a domande analitiche ricorrendo a strumenti esterni, ma sono le persone a decidere quali strumenti mettergli a disposizione prima che entrino in funzione. In questa impostazione individuiamo due problemi. **Disallineamento tra esseri umani e agente sugli strumenti:** una libreria di 21 strumenti selezionati da esperti aiuta in alcuni compiti e ostacola in altri, riducendo l’accuratezza sulle anomalie con tutti i backbone che abbiamo testato. **Danno silenzioso:** un ciclo di autorevisione generica modifica 147 risposte e ne rende errate 56, mentre il punteggio finale varia di meno di un punto. Entrambi i problemi derivano dalla stessa discrepanza: l’utilità di uno strumento si decide domanda per domanda durante l’esecuzione, mentre gli strumenti vengono forniti in anticipo e valutati in base a un’unica media. Per affrontarla, proponiamo TimeEvo, che raggruppa i fallimenti diagnosticati dell’agente in lacune nelle capacità, pianifica una misurazione per ciascuna, genera strumenti che producono esclusivamente evidenze per colmarle e ammette la libreria candidata solo dopo un controllo basato su confronti appaiati. Esperimenti su dieci compiti di domanda e risposta sulle serie temporali e tre backbone mostrano che TimeEvo, partendo da una libreria vuota, migliora l’accuratezza in ogni compito e con ogni backbone, e che una libreria sviluppata con un modello economico produce miglioramenti anche quando viene installata in modelli più potenti. Il codice è disponibile su https://github.com/Muyiiiii/TimeEvo.