AgenticRoboRL: il post-training degli agenti di programmazione applicato alla robotica agentica

Abstract degli autori

I sistemi di robotica agentica combinano pianificatori e harness robotici per svolgere compiti di manipolazione complessi. Lavori recenti hanno migliorato questi sistemi grazie a harness più efficaci e alla memoria esterna, ma si affidano a potenti modelli a codice chiuso come pianificatori e non migliorano le capacità dei pianificatori stessi. Gli agenti di programmazione, invece, sono migliorati notevolmente grazie al post-training del modello stesso. Esaminiamo quindi se il post-training possa migliorare anche i pianificatori robotici. Applicarlo a diversi harness robotici richiede però di tenere conto di differenti meccanismi di esecuzione, tra cui l’invocazione di skill VLA e la generazione di codice di controllo. A questo scopo presentiamo AgenticRoboRL, un framework per il post-training dei pianificatori robotici su diversi harness. La procedura di addestramento combina il fine-tuning supervisionato con l’apprendimento per rinforzo multi-turno. Per gestire i diversi meccanismi di esecuzione, adattatori specifici per ciascun harness collegano le interazioni registrate dei pianificatori agli esiti dei compiti, consentendo una pipeline comune di addestramento RL senza modificare i componenti di esecuzione. Su LIBERO-PRO, AgenticRoboRL porta il tasso di successo di un pianificatore da 9 miliardi di parametri dal 18,1% al 71,0% senza memoria esterna, avvicinandosi al 72,1% ottenuto da Codex (GPT-5.5) con memoria esterna. Questi risultati dimostrano che il post-training è un approccio efficace per migliorare i pianificatori robotici. Pubblicheremo il framework e i checkpoint dei pianificatori addestrati.