Video2Skill: dall’esperienza in streaming alle abilità incarnate riutilizzabili

Abstract degli autori

I comportamenti di manipolazione variano molto a seconda degli oggetti e delle scene, ma condividono un insieme ristretto di abilità riutilizzabili. Pianificare sulla base di queste abilità aiuta gli agenti incarnati a generalizzare a nuovi compiti. Un agente, però, può pianificare solo con le abilità che conosce. Ricavare abilità dall’esperienza osservata — il processo inverso della pianificazione — permette di costruire questa conoscenza nel tempo e produce dati sulle abilità con cui addestrare agenti futuri. I modelli visione-linguaggio (VLM) descrivono bene i singoli eventi di manipolazione, ma sono in grado di organizzare un flusso di eventi in abilità riutilizzabili? Formuliamo questo problema come Streaming Embodied Skill Discovery (SESD): un modello osserva video in sequenza e mantiene una libreria persistente di abilità che orienta le sue decisioni successive. Per misurare sistematicamente questa capacità, presentiamo Video2Skill, un benchmark che comprende la manipolazione di oggetti su un tavolo da parte di robot e le attività umane in cucina, e mette alla prova tre capacità fondamentali: (i) individuare nel tempo gli eventi di manipolazione, (ii) raggruppare gli eventi che comportano la stessa trasformazione e (iii) decidere quando riutilizzare un’abilità esistente o crearne una nuova. Tra 19 VLM open source, molti modelli raggruppano gli eventi con risultati poco superiori al caso, e l’aumento delle dimensioni non aiuta in modo sistematico. Gli errori dipendono da come sono collegate la percezione e le modifiche alla libreria: i modelli congiunti accorpano trasformazioni distinte in un’unica abilità, mentre quelli che aggiornano la libreria a partire da descrizioni testuali creano duplicati per le trasformazioni ricorrenti. Il fine-tuning supervisionato, incluso il nostro riequilibrio controfattuale dello stato della libreria (CLaRe), migliora il raggruppamento ma rivela un limite più profondo: i modelli addestrati consolidano le abilità familiari, ma raramente ampliano la libreria. Le loro librerie si fermano a meno della metà delle dimensioni di riferimento e le trasformazioni mai incontrate durante l’addestramento vengono individuate nel tempo, ma quasi mai associate a una nuova abilità. Riconoscere quando le abilità esistenti non bastano si delinea dunque come la sfida principale.