HiFOR: previsione gerarchica con ancoraggio al mondo guidato dalle azioni per un modello visione-linguaggio-azione

Abstract degli autori

I modelli di visione-linguaggio-azione (VLA) hanno dimostrato capacità promettenti nella manipolazione robotica, integrando percezione visiva, comprensione del linguaggio e generazione di azioni. I recenti progressi hanno inoltre integrato la predizione del futuro per migliorare la comprensione delle dinamiche ambientali e dell’avanzamento dei compiti. Tuttavia, i metodi esistenti spesso modellano separatamente le dinamiche a breve termine e gli obiettivi dei compiti a lungo termine, mentre incorporano direttamente i futuri previsti nelle politiche d’azione senza considerare sufficientemente la loro rilevanza per i requisiti dell’azione corrente. Per affrontare queste limitazioni, proponiamo HiFOR, un framework di previsione gerarchica con recupero dal mondo guidato dalle azioni. Nello specifico, la predizione gerarchica del futuro prevede congiuntamente l’evoluzione degli stati a breve termine, le tappe semantiche e gli stati finali dell’obiettivo attraverso una maschera gerarchica delle dipendenze (HDM), stabilendo dipendenze tra orizzonti temporali. Sulla base di queste predizioni, la modellazione del mondo latente sensibile alla struttura organizza le rappresentazioni latenti future lungo le dimensioni dell’orizzonte, della vista e dello spazio, per facilitare un recupero dettagliato. Inoltre, il recupero fattorizzato dal mondo guidato dalle azioni seleziona in modo adattivo le informazioni future pertinenti dal mondo latente strutturato, sulla base delle rappresentazioni dell’azione che evolvono durante il denoising, fornendo una guida mirata alla generazione delle azioni. Esperimenti approfonditi su due benchmark di simulazione e sei compiti di manipolazione robotica nel mondo reale dimostrano l’efficacia del nostro approccio.