La competenza di quale agente va modificata? Attribuzione del merito relativa al gruppo per l’evoluzione dei team multiagente

Abstract degli autori

Gli agenti cooperativi basati su modelli linguistici possono migliorare senza aggiornare i pesi, rivedendo competenze riutilizzabili, ma solo se la ricompensa condivisa dal team viene ricondotta all’agente e alla competenza responsabili. I metodi esistenti attribuiscono merito alle competenze presenti in ciascuna traiettoria, ma essere presenti non significa essere responsabili: una competenza dannosa attiva in esecuzioni riuscite riceve comunque un contributo positivo. Presentiamo \textbf{GRSE}, \textbf{G}roup-\textbf{R}elative \textbf{S}kill \textbf{E}volution, che attribuisce il contributo comportamentale attraverso il confronto: ispirato a GRPO, esegue più volte ciascuna domanda usando le stesse librerie di competenze e confronta le esecuzioni per attribuire il contributo alle coppie agente–competenza, accompagnando il confronto con una diagnosi strutturata degli insuccessi. Su HotpotQA e LoCoMo, con due attori i cui pesi sono aperti, GRSE supera MASkills, il metodo precedente più vicino, su HotpotQA e in tutte le categorie di LoCoMo tranne quella a dominio aperto, con i miglioramenti maggiori nelle domande a più passaggi ($+6.7$ e $+3.2$ F1). I miglioramenti derivano da un recupero delle informazioni meglio ancorato alle fonti, non da risposte fornite senza prove, e le competenze apprese si trasferiscono tra i compiti a più passaggi. GRSE resiste alle librerie contaminate: partendo da competenze dannose inserite deliberatamente, attribuisce a ciascuna di esse un contributo del segno corretto e recupera il punteggio di una libreria pulita ($+6.3$ punti), mentre MASkills attribuisce erroneamente il contributo a due competenze e scende sotto il proprio punteggio iniziale.