StopWatch: grounding dell’obiettivo nella navigazione verso un oggetto

Abstract degli autori

I VLM preaddestrati apportano alla navigazione verso un oggetto come obiettivo un’ampia conoscenza del mondo e conoscenze a priori semantiche; trasformare un VLM in una policy di navigazione tramite fine-tuning è diventato un approccio comune. Nonostante i progressi, i tassi di successo restano bassi e non è chiaro quale capacità manchi a queste policy. La nostra analisi individua nel grounding dell’obiettivo la causa principale degli insuccessi. Le policy esplorano bene, ma spesso non si accorgono che l’obiettivo è già nel campo visivo o non riescono a stimare quanto sia distante. Per affrontare questo problema, effettuiamo esplicitamente il grounding dell’obiettivo. Il grounding esplicito migliora notevolmente i risultati e raggiunge lo stato dell’arte in sei benchmark relativi a tre raccolte di scene. Correggiamo inoltre errori nelle annotazioni di questi benchmark, affinché i metodi futuri siano valutati con maggiore fedeltà. La nostra analisi sui benchmark corretti mostra che, con un grounding basato sui dati di riferimento, la nostra policy eguaglia quasi l’esperto che ha generato le sue dimostrazioni: il margine di miglioramento risiede quindi nella percezione, non nell’apprendimento della policy. Il nostro lavoro indica che il grounding dell’obiettivo è un elemento mancante nella navigazione verso un oggetto e offre una soluzione semplice ed efficace a questo compito.