AutoEnvScaling: automatizzare il volano dei dati con agenti che operano nel terminale

Abstract degli autori

Gli agenti che operano nel terminale risolvono problemi di ingegneria del software e ricerca scientifica eseguendo comandi. Per addestrarli con l’apprendimento per rinforzo (RL) servono ambienti diversificati e verificabili, ma questi sono ancora progettati perlopiù da ricercatori umani: la loro disponibilità cresce quindi solo al ritmo del lavoro dei ricercatori. Presentiamo AutoEnvScaling, che tratta la progettazione degli ambienti come un’attività da svolgere nel terminale e usa gli agenti per automatizzare il volano dei dati. Un agente proponente costruisce nuovi ambienti RL a partire dalle traiettorie di esecuzione dell’agente risolutore in fase di addestramento; le nuove traiettorie di quest’ultimo guidano poi il ciclo successivo. Trasformando la generazione degli ambienti in un’attività da svolgere nel terminale, AutoEnvScaling aumenta il tasso di ambienti validi fino a 25 volte rispetto alla generazione basata solo su prompt, con un costo per ambiente valido inferiore fino al 75%. Mostriamo che addestrare Qwen3.5-35B-A3B sugli ambienti AutoEnvScaling generati da GPT-5.6-sol migliora il suo punteggio su Terminal-Bench 2.1 di 4,3 punti rispetto alla baseline Tmax equivalente. L’obiettivo più ampio di AutoEnvScaling è rendere possibile l’auto-miglioramento ricorsivo (RSI): facendo della generazione degli ambienti e della risoluzione due attività da svolgere nel terminale, permette a un unico modello di coevolvere in entrambi i ruoli. Mostriamo che Qwen3.6-35B-A3B, impiegato in entrambi i ruoli, guadagna 12,2 punti su Terminal-Bench 2.1 e porta il suo punteggio su Terminal-Bench 4.0 da 1,6 a 3,2. La pipeline si generalizza anche a diversi ambiti di impiego degli agenti, generando ambienti per l’ingegneria del software, l’uso del computer, il lavoro professionale e la programmazione di kernel GPU. Nel complesso, questi risultati indicano una strada verso agenti capaci di costruire i propri ambienti di addestramento, riducendo la dipendenza dagli esseri umani e compiendo un passo fondamentale verso l’RSI.