Auto-miglioramento ricorsivo incentrato sui dati per la navigazione tramite bootstrap duale linguaggio-azione sincronizzato con la policy

Abstract degli autori

La navigazione visivo-linguistica richiede che gli agenti seguano istruzioni in linguaggio naturale per raggiungere le destinazioni, rendendo essenziale una supervisione linguistica di alta qualità. Poiché l’annotazione umana è costosa, studi precedenti hanno esplorato metodi scalabili di sintesi dei dati. Tuttavia, i metodi esistenti in genere usano modelli separati per la navigazione e la generazione di istruzioni, oppure collegano i due compiti mediante componenti specifici; la maggior parte, inoltre, annota l’intero corpus di traiettorie con un modello fisso prima di procedere all’aggiornamento, con il rischio che la supervisione generata resti indietro rispetto all’evoluzione della policy. Presentiamo quindi RSI-Nav, un framework di auto-miglioramento ricorsivo incentrato sui dati per la navigazione, basato su un bootstrap duale linguaggio-azione sincronizzato con la policy. RSI-Nav riunisce in un modello condiviso l’esecuzione di istruzioni dalla visione e dal linguaggio all’azione e la generazione di istruzioni dalla visione e dall’azione al linguaggio. In particolare, dopo un fine-tuning supervisionato che stabilisce le capacità fondamentali, RSI-Nav elabora progressivamente le traiettorie prive di annotazioni in piccoli blocchi. Il modello nella sua versione corrente genera istruzioni per queste traiettorie, le esegue per valutare il raggiungimento dell’obiettivo e l’efficienza del percorso, conserva i campioni idonei e si aggiorna immediatamente prima di elaborare il blocco successivo. L’aggiornamento blocco per blocco mantiene la supervisione appena generata allineata alla policy in evoluzione. Integriamo anche dati sulla comprensione spaziale, poiché una maggiore capacità di ragionamento spaziale favorisce la navigazione. Esperimenti approfonditi mostrano che RSI-Nav raggiunge un SR del 68,6% su R2R-CE e del 72,4% su RxR-CE, offrendo al contempo una maggiore utilità per la generazione di istruzioni e un modesto miglioramento della comprensione spaziale dopo l’evoluzione ricorsiva.