NavGPT-3: sfruttare il contesto in un runtime gerarchico di navigazione

Abstract degli autori

I modelli linguistici addestrati con l’apprendimento per rinforzo agentico su orizzonti lunghi possono generalizzare le conoscenze attraverso il ragionamento, formulare azioni precise e perseguire obiettivi attraverso molti passaggi, ampliando ciò che un agente incarnato può comprendere e decidere. L’interazione fisica, tuttavia, resta affidata alle politiche d’azione, che forniscono un controllo continuo e a bassa latenza. Presentiamo NavGPT-3, un’infrastruttura che collega i due modelli, con un runtime simile a un sistema operativo costruito al di sopra di essa: ragionamento, azione e monitoraggio operano come thread, ciascuno con il proprio contesto, i propri strumenti e i propri permessi, mentre il runtime li gestisce e decide quale thread controlla il movimento del robot. In questo modo, il robot può reagire a eventi improvvisi nel mondo reale interrompendo un thread e passando a un altro. Al livello sottostante, la nostra politica d’azione NavGPT VLA, addestrata su 19,28 milioni di esempi, assegna i token visivi tramite un’allocazione basata su codec, in proporzione ai cambiamenti della scena; il suo modello 8B, da solo, raggiunge 74,51 SR su R2R-CE ed è primo su RxR-CE con 78,19 SR. Con l’infrastruttura completa, NavGPT-3 stabilisce lo stato dell’arte su R2R-CE (81,51 SR) e, per la prima volta, porta un agente autonomo al livello umano: su RxR-CE eguaglia i partecipanti umani nel tasso di successo (90,43 contro 90,4 SR) e nella fedeltà del percorso (78,47 contro 77,7 nDTW), impiegando 1 min 22 s per episodio contro circa 3 min per un essere umano. Analizziamo in modo esaustivo, mediante studi di ablazione, la progettazione dell’infrastruttura e l’interazione tra i due modelli, mostrando come gli strumenti e la politica d’azione plasmino il passaggio dal ragionamento del modello linguistico al controllo fisico: quando NavGPT VLA esegue il percorso, il ciclo di ragionamento si accorcia e il tempo minimo di reazione del sistema scende da 3-19 s per decisione del modello linguistico a 0,5-1 s per passaggio della politica d’azione (1-2 Hz). Questi risultati mostrano che progettare questa interfaccia per agenti incarnati è fondamentale per collegare l’intelligenza dei modelli linguistici di frontiera al controllo fisico di basso livello. Pubblicheremo tutti i modelli, il codice e i resoconti delle valutazioni.