SkillGym: addestrare agenti all’uso delle skill generando automaticamente ambienti verificabili

Abstract degli autori

Le skill forniscono agli agenti basati su LLM conoscenze professionali e indicazioni per portare a termine compiti complessi e di lunga durata. Sebbene siano ampiamente adottate nei recenti paradigmi e nelle infrastrutture per agenti, resta poco studiato come produrre dati di addestramento affidabili e come addestrare gli agenti a usare le skill. In questo lavoro proponiamo SkillGym, una pipeline automatica per creare ambienti verificabili, raccogliere traiettorie e addestrare agenti all’uso delle skill. SkillGym raccoglie dapprima un gran numero di skill da Internet, poi seleziona quelle i cui flussi di lavoro possono essere eseguiti offline in modo riproducibile. Una pipeline di costruzione e revisione consente di creare compiti con difficoltà controllata, articolati in quattro tipologie, ciascuno con una soluzione di riferimento e un verificatore eseguibile. Con questa pipeline creiamo 6,8k ambienti e raccogliamo 19k traiettorie di successo verificate per il fine-tuning supervisionato. Il fine-tuning su queste traiettorie migliora le prestazioni degli LLM di diverse famiglie e dimensioni, da 2B a 122B parametri, su quattro benchmark relativi all’uso delle skill; il nostro modello Qwen3.5-9B SFT supera, in due di essi, il modello da 397B non addestrato. Ulteriori analisi mostrano che l’addestramento insegna agli agenti a richiamare le skill, portando dal 28% al 96% la frequenza con cui leggono la skill pertinente, e che i miglioramenti si mantengono con diverse strutture di ragionamento, estendendosi a tipologie di compiti che rappresentano una minoranza dei dati di addestramento e a skill escluse dall’addestramento.