RLE-Bench: un esame di qualificazione per gli agenti di programmazione come ingegneri dell’apprendimento robotico

Abstract degli autori

Gli agenti di programmazione stanno iniziando ad andare oltre i compiti puramente digitali per affrontare sfide del mondo fisico, in particolare nella robotica. I benchmark di robotica esistenti, tuttavia, si concentrano soprattutto sulle prestazioni di singoli artefatti, come policy o sistemi di controllo, e coprono solo in misura limitata le più ampie capacità ingegneristiche degli agenti di programmazione. La robotica nel mondo reale va oltre il controllo: gli agenti devono costruire, integrare, diagnosticare e migliorare artefatti eterogenei con risorse limitate, oltre a ragionare a partire da feedback multimodali. Per valutare queste capacità più ampie, presentiamo RLE-Bench, un benchmark di compiti di apprendimento robotico che copre quattro flussi di lavoro rappresentativi dello sviluppo in robotica: controllo interattivo, apprendimento delle policy, percezione e stima, e progettazione meccanica. Usiamo diverse metriche specifiche per ciascun compito per valutare gli artefatti presentati dagli agenti di programmazione: dal tasso di successo ottenuto dagli agenti alle policy che hanno addestrato, all’harness costruito dall’agente e alle strutture meccaniche che ha progettato. Aggreghiamo queste metriche in un indice complessivo, l’RLE Index, e riportiamo profili delle capacità specifici per ciascun flusso di lavoro, rendendo possibile un confronto sistematico delle capacità degli agenti di programmazione su più dimensioni. Oltre alle classifiche delle prestazioni, conduciamo anche studi di caso approfonditi sul comportamento degli agenti in compiti rappresentativi, mettendo in luce sia le capacità attuali sia i limiti e indicando le opportunità che i compiti di robotica offrono per il futuro addestramento degli agenti.