UniSkill: apprendere a proporre skill allineate all’attore per una policy in evoluzione

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni possono migliorare nello svolgimento di diversi compiti conservando skill riutilizzabili ricavate dalle interazioni precedenti. Studi recenti ottimizzano congiuntamente l’esecuzione dei compiti e l’estrazione delle skill, consentendo alla policy e alla skillbank di evolvere insieme. Tuttavia, mentre l’attore continua ad apprendere, ricompensare le proposte di skill in base al loro riutilizzo nelle successive fasi di addestramento può confondere i benefici delle skill con i miglioramenti dell’attore; testare direttamente ogni skill proposta richiede invece ulteriori e costose interazioni dell’attore con l’ambiente. In questo articolo presentiamo UniSkill, che usa una policy condivisa per interagire con l’ambiente e proporre modifiche alla skillbank (Add, Update o No Edit) sulla base delle traiettorie risultanti. Nello specifico, l’attore apprende dalle ricompense dell’ambiente, mentre un feedback contrastivo sulle azioni guida l’apprendimento delle proposte di skill. Questo feedback fornisce un segnale di allineamento all’attore misurando in che modo la sostituzione della skill recuperata con una skill proposta modifica, per l’attore attuale, la differenza nella log-verosimiglianza delle azioni tra traiettorie riuscite e fallite raccolte in precedenza per lo stesso compito, evitando così nuove interazioni con l’ambiente per ogni proposta. Poiché il feedback a livello di proposta può inibire un’operazione di modifica altrimenti appropriata quando il contenuto della skill proposta ottiene un punteggio basso, applichiamo inoltre una regolarizzazione del supporto alle modifiche delle skill per preservare l’esplorazione. Nei test, UniSkill ottiene risultati elevati, raggiungendo un tasso di successo del 98,4% su ALFWorld e dell’84,7% su WebShop, pur mantenendo stabile l’addestramento congiunto. Ulteriori esperimenti su ALFWorld mostrano che UniSkill resta efficace quando la policy condivisa utilizza un backbone più piccolo. La nostra implementazione è disponibile all’indirizzo https://github.com/LimOkii/UniSKill.