Lean4AgenticRL: progressi nell’apprendimento per rinforzo agentico grazie a ricompense di processo multilivello verificabili

Abstract degli autori

Potenziare le capacità agentiche dei modelli linguistici di grandi dimensioni (LLM) per affrontare problemi complessi di ingegneria del software (SWE) e di uso generale del terminale è una sfida urgente. Gli attuali LLM più avanzati sono spesso sottoposti ad apprendimento per rinforzo (RL) agentico su larga scala. Tuttavia, si basano perlopiù su ricompense legate al risultato finale, prestando scarsa attenzione alle ricompense di livello inferiore per le chiamate agli strumenti e a quelle di livello intermedio per le fasi del flusso di lavoro. Questo rende l’addestramento meno efficace. Per superare tale limite, proponiamo **Lean4AgenticRL**, che, per quanto ne sappiamo, è il primo framework a fondare le ricompense di processo multilivello su uno schema unificato di formalizzazione in Lean4 per l’RL agentico a compiti aperti. **Lean4AgenticRL** costruisce anzitutto un sistema di *flussi di lavoro specifici per il problema* che bilancia le capacità dell’agente e la possibilità di controllarne il comportamento durante l’esecuzione, ponendo le basi per ulteriori verifiche. Successivamente, i nostri metodi di formalizzazione dei flussi di lavoro e di annotazione delle ricompense multilivello consentono di verificare il comportamento dell’agente all’interno di un’infrastruttura generale di esecuzione. Il framework fornisce ricompense multilivello per rendere più efficace l’RL agentico con l’algoritmo GRPO normalizzato per fase del flusso di lavoro. Con **Lean4AgenticRL** addestriamo **LAR-9B/27B**, una famiglia di modelli dalle capacità agentiche potenziate. Numerosi esperimenti indicano che il nostro modello supera il modello più avanzato di dimensioni simili. **LAR-27B** raggiunge il **77,3%** su TerminalBench-2.1. In media, i nostri modelli superano il modello di base del **9,89%** e il secondo miglior modello di dimensioni comparabili a noi noto del **5,07%**. Questi risultati indicano il potenziale dell’integrazione dei metodi formali nel potenziamento dell’RL agentico a compiti aperti.