La storia di un agente permette di prevedere quando la compattazione sarà dannosa? Un effetto modesto e circoscritto nel TRACE Paired-Replay Corpus

Abstract degli autori

Molti agenti che operano su orizzonti lunghi compattano il proprio contesto secondo una regola globale, di solito un budget di token, senza tener conto di ciò che stavano facendo. Ci chiediamo se il comportamento recente di un agente permetta di prevedere quando una compattazione sarà dannosa. Il corpus pubblico di TRACE comprende 590 punti di compattazione di AppWorld attivati dall’harness: per ciascuno, riproduce l’esecuzione a partire da uno stato del prefisso rieseguito, sia con il contesto precedente alla compattazione sia con il riassunto, e registra il carico delle azioni successive, ossia le chiamate che generano un errore o ripetono una chiamata già effettuata. Troviamo che la storia precedente al punto di compattazione predice solo debolmente i danni successivi. Un confronto predefinito internamente in base alla posizione nel prefisso dà un risultato ampiamente nullo, e l’ingenua etichetta «ha scritto» su cui si basa risulta misurare la fase della traiettoria. Il miglior criterio di attivazione del protocollo di estensione raggiunge un’AUROC di 0,66 sui dati tenuti da parte (0,64 sull’etichetta della replica stessa), contro 0,72 per una replica sugli stessi punti di compattazione; il miglior criterio di attivazione interpretabile e fissato in anticipo evita il 21% dei punti di compattazione dannosi (con carico positivo), conservando l’84% delle opportunità di compattazione, e supera il valore atteso per una regola casuale nel numero, ma non nel carico complessivo (un confronto post hoc). Non è possibile valutare, con i dati rilasciati, se il criterio migliore superi una regola basata sul budget di token a parità di opportunità conservate. Indichiamo quali elementi dovrebbero essere forniti con i corpus per rispondere a questa domanda.