ProgAgent: imparare a orchestrare gli strumenti attraverso l’addestramento programmatico

Abstract degli autori

Ai modelli linguistici di grandi dimensioni (LLM) si chiede sempre più spesso di orchestrare strumenti diversi per svolgere compiti a lungo orizzonte. Gli agenti esistenti usano in genere il Direct Tool Calling (DTC): il modello richiama gli strumenti in sequenza e le loro risposte si accumulano nel suo contesto, con il rischio di degradare il contesto e compromettere l’orchestrazione. Il Programmatic Tool Calling (PTC), invece, richiama gli strumenti tramite codice eseguibile e conserva i risultati intermedi in variabili durante l’esecuzione, anziché aggiungerli al contesto. Gli studi precedenti hanno esaminato il PTC soprattutto come ottimizzazione in fase di inferenza, ma i suoi vantaggi per l’addestramento degli agenti restano poco chiari e i compiti di addestramento verificabili adatti allo scopo scarseggiano. In questo lavoro presentiamo ProgAgent, un’infrastruttura completa per l’addestramento PTC che comprende una pipeline per generare compiti verificabili a lungo orizzonte, un ambiente di esecuzione PTC leggero e una procedura di addestramento in due fasi. Utilizzando soltanto 215 compiti istanziati su quattro scale dell’ambiente, ProgAgent ottiene percentuali di successo superiori a quelle dei modelli di riferimento valutati, di dimensioni comparabili, in quattro benchmark. Su LOCA-bench, ProgAgent-14B raggiunge una percentuale di successo del 30,7% con uno stato dell’ambiente di 64k token, una condizione in cui quei modelli di riferimento ottengono zero. Esperimenti condotti con diverse infrastrutture di valutazione mostrano che i modelli addestrati con PTC superano quelli addestrati con DTC con entrambe le interfacce di valutazione, suggerendo che i vantaggi dell’addestramento PTC vadano oltre l’interfaccia.