WikiSkill: trasformare l’esperienza degli agenti in conoscenza persistente per l’evoluzione delle competenze

Abstract degli autori

Le competenze degli agenti racchiudono conoscenze specialistiche e flussi di lavoro in risorse riutilizzabili che ampliano le capacità degli agenti di IA. Studi recenti individuano automaticamente queste competenze a partire dall’esperienza degli agenti, consentendo loro di adattarsi progressivamente attraverso l’interazione. Tuttavia, le informazioni che guidano lo sviluppo delle competenze restano di norma sparse nelle cronologie dell’ottimizzazione, limitandone il riutilizzo sistematico tra un’iterazione e l’altra. Presentiamo WikiSkill, un framework che fa coevolvere le competenze degli agenti e una base di conoscenza persistente (wiki). In termini generali, WikiSkill tiene distinte l’esperienza grezza di esecuzione, le conoscenze accumulate e le competenze eseguibili, consolidando continuamente l’esperienza nella wiki affinché i successivi aggiornamenti delle competenze possano basarsi su di essa. Su diversi benchmark e modelli, WikiSkill supera sistematicamente i metodi più avanzati per l’evoluzione delle competenze e migliora i risultati rispetto alle baseline prive di competenze nella maggior parte delle combinazioni di modelli e benchmark. Osserviamo che l’evoluzione delle competenze è complementare all’aumento delle dimensioni dei modelli: i modelli più grandi traggono in genere maggior beneficio dalle competenze evolute, mentre modelli più piccoli dotati di competenze possono superare modelli molto più grandi che ne sono privi. Osserviamo inoltre che le competenze evolute si trasferiscono efficacemente tra modelli e famiglie di modelli, e che quelle evolute da altri modelli possono superare le competenze evolute dal modello stesso. Infine, i nostri studi di ablazione confermano che l’accumulo persistente di conoscenze nella wiki è cruciale per un’efficace evoluzione delle competenze. Questi risultati mostrano i vantaggi di accumulare e affinare sistematicamente l’esperienza degli agenti per sviluppare competenze riutilizzabili e trasferibili.