ViSkill: rafforzare gli agenti VLM con competenze visive in evoluzione

Abstract degli autori

Gli agenti che utilizzano competenze apprese migliorano l’efficienza nell’uso dei campioni distillando le traiettorie di successo in strategie riutilizzabili. La maggior parte degli approcci esistenti, però, resta incentrata sul testo: trasforma le disposizioni spaziali e le corrispondenze tra azioni e stati in sequenze linguistiche, perdendo informazioni geometriche cruciali. Alcuni lavori recenti hanno iniziato a incorporare informazioni visive, ma costruiscono e aggiornano le competenze separatamente dall’ottimizzazione della policy, senza esplorare a fondo come le due possano migliorarsi a vicenda. Proponiamo ViSkill, un framework per l’apprendimento di competenze nativamente visive che codifica le interazioni riuscite in schede visive composite, direttamente accessibili agli agenti VLM. Le competenze recuperate guidano sia l’inferenza sia la modellazione della ricompensa; le traiettorie di successo vengono poi distillate nella libreria. Si crea così un ciclo di feedback in cui l’accumulo di competenze e il miglioramento della policy si rafforzano reciprocamente. Un meccanismo opzionale di avvio a freddo accelera ulteriormente l’apprendimento nelle fasi iniziali. Valutato su Sokoban, FrozenLake e PrimitiveSkill, ViSkill raggiunge un tasso di successo complessivo di 0,89, che sale a 0,91 con l’inizializzazione tramite avvio a freddo. Supera tutte le baseline proprietarie e open source valutate e converge più rapidamente del PPO standard. Il nostro codice è disponibile all’indirizzo https://github.com/ZJU-REAL/ViSkill.