Scalabilità ricorsiva degli ambienti per agenti generalisti a lungo orizzonte

Abstract degli autori

Studiamo la scalabilità degli ambienti come metodo per aumentare la difficoltà dei benchmark per agenti, mantenendo invariati gli obiettivi fondamentali dei compiti. Il nostro framework, Recursive Environment Scaling (RES), trasforma gli ambienti dei benchmark esistenti preservandone gli obiettivi e i requisiti di completamento. Un proponente modifica l’accesso alle informazioni, le relazioni tra risorse e le dipendenze nell’esecuzione; controlli basati sull’esecuzione convalidano la versione candidata risultante e le modifiche accettate vengono ereditate nei cicli successivi. Si ottengono così ambienti correlati per la valutazione a coppie e la raccolta di traiettorie di addestramento. Gli esperimenti su 294 compiti iniziali tratti da tre benchmark mostrano una riduzione del tasso di completamento dei compiti per tutti e sei i modelli valutati, con cali compresi tra 57,14 e 77,14 punti percentuali su Claw-Eval-Live. A parità di numero di traiettorie e con impostazioni di ottimizzazione identiche, il fine-tuning sulle traiettorie RES supera l’SFT sulle traiettorie originali in tutti e nove i confronti tra modelli e benchmark, con vantaggi compresi tra 7,00 e 14,61 punti percentuali. Gli studi di ablazione individuano nell’ereditarietà ricorsiva e nella composizione delle dipendenze due fattori importanti dell’aumento della difficoltà. Nel complesso, questi risultati avvalorano la scalabilità degli ambienti sia per la valutazione sia per l’addestramento degli agenti.