MetaShare: automiglioramento collettivo che tiene conto dei fallimenti per agenti a sviluppo aperto

Abstract degli autori

Gli esseri umani spesso imparano più rapidamente non ripetendo i successi, ma ricordando quali errori non ripetere. Gli agenti a sviluppo aperto capaci di automigliorarsi possono condividere esperienze tra linee evolutive, come in GEA, oppure modificare i propri meccanismi di miglioramento, come in DGM-Hyperagents. Tuttavia, i tentativi di miglioramento falliti vengono raramente conservati come conoscenze riutilizzabili tra rami diversi, e la ricerca può finire per concentrarsi su strategie ridondanti. Presentiamo MetaShare, un framework che tiene conto dei fallimenti e registra le modifiche agli agenti riuscite e non riuscite insieme alle variazioni di prestazione con segno. Prima di ogni generazione, MetaShare recupera strategie diversificate e dalle prestazioni elevate insieme a fallimenti di altre linee evolutive identificati con elevata affidabilità, consentendo agli agenti di riutilizzare i meccanismi efficaci ed evitare vicoli ciechi già noti. Un revisore che non conosce il compito introduce periodicamente categorie di meccanismi assenti o sottorappresentate, mentre un declassamento basato sugli embedding limita la ridondanza durante il recupero. Più meta-agenti propongono modifiche in parallelo, con temperature diverse; un selettore deterministico le ammette in base ad applicabilità, ambito, compilabilità e dimensioni. Esperimenti sulla revisione di articoli scientifici, la programmazione, la valutazione in matematica, la progettazione di ricompense per la robotica e la valutazione del rischio nella revisione contabile finanziaria mostrano che la mediana delle prestazioni di MetaShare eguaglia o supera le prestazioni finali di DGM-Hyperagents e che MetaShare raggiunge il proprio agente dalle prestazioni migliori con un numero di iterazioni evolutive inferiore di un fattore 1,7--2,9$\times$.