HeLM: memoria linguistica esplicita gerarchica per la manipolazione non markoviana

Abstract degli autori

I recenti progressi nei modelli Vision-Language-Action (VLA) hanno reso possibile la manipolazione di precisione, ma svolgere compiti che richiedono memoria di lavoro resta una sfida fondamentale. La maggior parte delle architetture VLA esistenti si basa sull’assunzione markoviana e associa un’azione soltanto all’osservazione corrente, il che porta al fallimento in ambienti non markoviani. Ispirandoci al «monologo interiore» umano, proponiamo Hierarchical Explicit Language Memory (HeLM), un framework VLA gerarchico che conserva in un linguaggio esplicito la storia rilevante per il compito, tramite il rilevamento fattorizzato degli eventi e aggiornamenti della memoria attivati dagli eventi. Valutiamo HeLM su 10 compiti non markoviani nel mondo reale, con 56 varianti, tra cui cinque compiti inter-episodio di nuova formulazione, che richiedono di mantenere il contesto oltre i confini tra i compiti. HeLM migliora di 12,8 punti percentuali il successo intra-episodio rispetto al baseline più efficace e raggiunge il 78% di successo nei sottocompiti di generalizzazione composizionale, utilizzando fino a 4,5 volte meno memoria e funzionando 2,5 volte più velocemente del baseline basato sui keyframe, su orizzonti temporali lunghi.