Navigazione visivo-linguistica multiagente sistematica: formulazione, benchmark e metodo

Abstract degli autori

La navigazione visivo-linguistica (VLN) si è concentrata soprattutto su un singolo agente che segue una singola istruzione, ma molte applicazioni reali richiedono squadre di robot per affrontare compiti che superano le capacità di qualsiasi agente preso singolarmente. Presentiamo Systematic Multi-Agent Vision-and-Language Navigation, offrendo, per quanto ne sappiamo, la prima formalizzazione sistematica della VLN multiagente come problema di coordinamento soggetto a vincoli: ogni missione comprende sottocompiti con vincoli di dipendenza e di risorse (blocchi di presenza e catene di mantenimento). Una pipeline di costruzione verificata in quattro fasi concretizza il compito in MAVLN, che comprende 11.724 episodi in 145 scene, con squadre fino a quattro agenti e tre regimi di istruzioni, corredato di metriche specifiche che tengono conto dei vincoli. Presentiamo inoltre TRISS, un sistema di navigazione predisposto per il coordinamento che combina uno scheduler dei sottocompiti basato su un LLM, una memoria topologica condivisa che trasforma l’esplorazione di ciascun agente in conoscenza per la squadra e un meccanismo di esecuzione che tiene conto dei conflitti e traduce le intenzioni simultanee in percorsi privi di collisioni. Esperimenti approfonditi affermano TRISS come baseline completa e mostrano ampi margini di miglioramento nella schedulazione, nella pianificazione e nell’esecuzione, mettendo in luce le difficoltà del coordinamento sotto i vincoli dei compiti MAVLN. Pagina del progetto: https://xyz9911.github.io/mavln.