Harness Scaling per un apprendimento per rinforzo agentico capace di generalizzare

Abstract degli autori

Gli harness per agenti sono diventati una componente centrale dei moderni sistemi agentici: determinano il modo in cui i modelli usano gli strumenti, gestiscono il contesto e coordinano interazioni di lunga durata. Per sfruttarne i vantaggi, il modello sottostante deve saperli usare efficacemente; questo motiva l’addestramento per rinforzo direttamente attraverso l’harness. Gli approcci esistenti, tuttavia, prevedono in genere l’addestramento attraverso un unico harness fisso, con il rischio di specializzazione e di una trasferibilità limitata tra diverse configurazioni. Per affrontare questo problema, introduciamo \textbf{Harness Scaling}, una nuova dimensione di scalabilità per il RL agentico che estende l’addestramento da un singolo harness a diverse configurazioni di esecuzione. In concreto, costruiamo uno spazio fattorizzato di harness, selezioniamo un sottoinsieme compatto per l’addestramento con una copertura fattoriale bilanciata e organizziamo l’addestramento su più harness in modo da combinare una copertura globale con variazioni controllate per lo stesso compito. Su diversi benchmark, scale dei modelli e algoritmi di RL, Harness Scaling migliora in modo sistematico la generalizzazione a configurazioni white-box mai viste. Inoltre, i modelli addestrati con variazioni white-box strutturate trasferiscono efficacemente quanto appreso a harness black-box esterni mai visti, superando i modelli addestrati attraverso un unico harness black-box complesso. Questi risultati mostrano che la diversità degli harness è una dimensione di scalabilità significativa per il RL agentico e sottolineano l’importanza del modo in cui tale diversità viene organizzata per la generalizzazione tra harness.