Apprendimento robotico in contesto semplificato: una ricetta alla portata di tutti per i compiti di manipolazione

Abstract degli autori

Studiamo l’apprendimento robotico in contesto (ICL), un paradigma emergente che consente ai robot di dedurre ed eseguire compiti a partire da dimostrazioni visive. Nonostante le sue crescenti potenzialità, il problema stesso resta definito in modo incompleto: una dimostrazione visiva comunica contemporaneamente traiettorie delle azioni, caratteristiche semantiche degli oggetti, affordance di manipolazione, relazioni spaziali e obiettivi del compito. Non è quindi chiaro quali informazioni il robot debba effettivamente seguire. In questo lavoro, forniamo innanzitutto una definizione chiara del problema dell’ICL robotico, che ne specifica esplicitamente l’obiettivo di apprendimento e risolve questa ambiguità fondamentale del prompt. Su questa base, sviluppiamo un framework ICL essenziale e riproducibile (SimpleICL), con un encoder per i prompt visivi e un protocollo di raccolta dati a basso costo. Senza un pre-addestramento su vasta scala né un’infrastruttura specializzata per i dati, il nostro framework ottiene prestazioni elevate sia in simulazione sia in ambienti reali. Ampi esperimenti rivelano inoltre diverse proprietà fondamentali dell’ICL robotico, tra cui la capacità di distinguere le azioni e di operare distinzioni semantiche, composizionali e relative alle affordance. Renderemo interamente open source i nostri dati e la pipeline di addestramento per agevolare una ricerca sistematica e riproducibile sull’ICL robotico. La pagina del progetto è disponibile all’indirizzo https://simpleicl.github.io/simpleicl.