Co-evoluzione degli orchestratori e delle policy robotiche durante l’impiego

Abstract degli autori

Le policy visione-linguaggio-azione (VLA) addestrate su grandi dataset sono efficaci negli ambiti su cui sono state addestrate, ma ancora non riescono a generalizzare alla varietà di situazioni che un robot incontra quando viene impiegato nel mondo reale. I sistemi robotici agentici affiancano alla policy un modello visione-linguaggio (VLM) che funge da orchestratore e impara quando richiamare la policy, come impartirle istruzioni e quando usare invece abilità preprogrammate. Tuttavia, poiché l’infrastruttura è costruita attorno a una policy congelata che può essere guidata solo in misura limitata tramite il linguaggio, l’orchestratore può evitare gli errori della policy, ma non superarli. La policy diventa così il collo di bottiglia dell’intero sistema. Il fine-tuning della policy può eliminare questo collo di bottiglia, ma aggiornarla da sola la disallinea da un orchestratore adattato al suo comportamento precedente. Proponiamo Robo-COP, un sistema in cui orchestratore e policy coevolvono durante l’impiego. Robo-COP seleziona dimostrazioni di abilità dalle proprie esecuzioni, sottopone la policy a fine-tuning quando questi dati possono contribuire a risolvere errori ricorrenti e adotta ogni nuova policy solo dopo che questa ha migliorato le abilità per cui è stata addestrata. Su dieci compiti RoboLab simulati, Robo-COP porta il tasso medio di successo su prove escluse dall’addestramento dal 64,8% al 73,8% rispetto alla stessa infrastruttura con una policy congelata, mentre il fine-tuning a intervalli prestabiliti, senza verifica, raggiunge solo il 65,8%. Su tre compiti nel mondo reale, Robo-COP porta il tasso di successo su prove escluse dall’addestramento dal 38,3% al 50,0%. Robo-COP trasforma l’impiego in un ciclo di miglioramento continuo in cui i robot imparano facendo e ogni miglioramento nell’esecuzione produce dati migliori per il ciclo di apprendimento successivo. Video e codice sono disponibili all’indirizzo https://robo-cop.pages.dev/.