HiSTEVE 1.0: agenti VLA che usano l’interfaccia umana per i giochi open world

Abstract degli autori

Creare agenti virtuali incarnati che operino in giochi a struttura aperta come i giocatori umani è un obiettivo di lunga data, che richiede sia autonomia su orizzonti lunghi sia un controllo affidabile tramite l’interfaccia nativa. Minecraft, un mondo aperto generato proceduralmente, offre un ambiente di prova naturale per studiare l’integrazione di queste capacità. Gli agenti esistenti offrono in genere il controllo visuomotorio nativo senza autonomia su orizzonti lunghi, oppure una pianificazione ad alto livello eseguita tramite API dell’ambiente o abilità predefinite. Per colmare questa lacuna, proponiamo HiSTEVE, un agente VLA gerarchico dotato di un sistema di orchestrazione che tiene conto delle capacità dell’agente. Al livello dell’orchestrazione, dotiamo il sistema di una memoria strutturata per tenere traccia dei progressi e di un pianificatore VLM che seleziona sottocompiti alla portata del VLA. Per stabilire in modo affidabile quando un sottocompito è completato, introduciamo inoltre un rilevatore dello stato di completamento del compito collegato alla policy, che usa il contesto della policy VLA per segnalare un possibile completamento. Al livello del controllo, un unico VLA esegue tutti i sottocompiti basandosi soltanto sulla percezione visiva e usando direttamente tastiera e mouse. Per ridurre le interferenze tra le diverse interazioni con e senza interfaccia grafica, introduciamo rami RMSNorm specifici per ciascun regime ed embedding separati per i token di movimento del mouse. Addestriamo inoltre il VLA mediante l’iniezione di conoscenze sul mondo, l’apprendimento per imitazione e l’apprendimento per rinforzo con feedback dall’ambiente, per migliorarne l’affidabilità e la capacità di recupero. HiSTEVE ottiene prestazioni all’avanguardia nei compiti atomici, con un punteggio dell’85,0% su MineStudio Bench e un tasso medio di successo del 37,4% su OpenHA, e porta a termine anche compiti su orizzonti lunghi, come fabbricare da zero un piccone di ferro al pari dei giocatori umani.