Selezionare traiettorie a lungo orizzonte per addestrare agenti da terminale in modo affidabile ed efficiente

Abstract degli autori

Gli agenti da terminale vengono comunemente addestrati a imitare lunghe traiettorie prodotte da un modello insegnante, ma non è ancora stato studiato quanta parte di ciascuna traiettoria debba essere usata per la supervisione. Studiamo il \emph{supervision horizon}, cioè il numero di token della traiettoria mantenuti per l’addestramento, e mostriamo che è una scelta progettuale fondamentale per l’affidabilità e i costi. L’affidabilità migliora con orizzonti più lunghi, ma il miglioramento si arresta: su Terminal-Bench, un orizzonte di 12K token risolve più compiti di uno di 16K ($29\pm0.7$ contro $26\pm0.8$), richiedendo il 30\% di tempo di addestramento in meno. L’orizzonte influisce anche sul comportamento degli agenti: gli orizzonti brevi causano interruzioni premature, quelli intermedi favoriscono un recupero efficace dagli errori e quelli lunghi inducono a insistere troppo. Analizziamo questo arresto dei miglioramenti attraverso un limite teorico che mette in relazione distorsione e complessità: una supervisione più lunga riduce la distorsione temporale della supervisione, ma aumenta l’errore di stima dovuto al numero finito di esempi, perché le sequenze delle fasi avanzate sono più eterogenee. Sulla base di questa analisi, proponiamo il \emph{selective long-horizon refinement}, che prevede prima un addestramento su prefissi brevi e poi un affinamento limitato alle prosecuzioni più probabili secondo il modello warm-start. Questo metodo supera sistematicamente l’addestramento sull’intero orizzonte lungo. A 16K, porta i tentativi riusciti da $110\pm2.7$ a $126\pm2.1$ e i compiti risolti in almeno sei tentativi su otto da $9\pm0.7$ a $14\pm0.6$; con metà dei dati a lungo orizzonte, arriva comunque a $122\pm2.4$, riducendo il tempo di addestramento del 23\%. I miglioramenti si confermano su diversi benchmark: da $64\pm2.6$ a $73\pm2.1$ su Terminal-Bench v2.0 e da $137\pm2.7$ a $155\pm2.2$ su OpenThoughts-TBLite. Per la supervisione a lungo orizzonte, selezionare le traiettorie giuste conta più che addestrare il modello su tutte.