Collaborazione tra harness e modello per l’apprendimento continuo su orizzonti lunghi

Abstract degli autori

Gli agenti che operano su orizzonti lunghi incontrano continuamente conoscenze procedurali riutilizzabili, ma i sistemi esistenti si affidano in genere all’adattamento del modello oppure a una memoria esterna, sacrificando l’apprendimento duraturo in favore del riutilizzo rapido. Questo limite è particolarmente importante per gli agenti Web che eseguono ripetutamente flussi di lavoro correlati e articolati in più passaggi. Proponiamo HaMo, un framework collaborativo tra harness e modello che combina il rapido accumulo non parametrico di esperienze con un più lento adattamento parametrico. HaMo distilla le traiettorie in schede di esperienza a livello di strategia, recuperabili immediatamente, mentre una funzione obiettivo di apprendimento continuo condizionata dall’esperienza addestra il modello a interpretare, ancorare al contesto ed eseguire le strategie recuperate in contesti mutevoli. Un meccanismo di selezione basato sulla copertura del recupero individua inoltre traiettorie compatte e complementari per l’aggiornamento dei parametri. Gli esperimenti mostrano che HaMo supera sia l’adattamento del solo harness sia quello del solo modello in presenza di cambiamenti all’interno dello stesso dominio e tra domini, migliorando sia la ritenzione sia l’adattamento. Questi risultati evidenziano l’importanza di preservare l’esperienza procedurale e, al tempo stesso, di acquisire la capacità di trasferirla ed eseguirla in compiti diversi.