Oltre il guadagno: misurare l’interiorizzazione delle skill per il ritiro delle skill degli agenti

Abstract degli autori

Gli agenti basati su LLM recuperano skill da hub pubblici che contengono fino a circa 100.000 voci e servono molti modelli. Man mano che i modelli migliorano, un hub deve individuare le skill che un determinato modello ha interiorizzato, e di cui quindi può fare a meno, per ritirarle per quel modello. L’interiorizzazione, però, non è stata misurata con un’affidabilità nota. I criteri pubblicati che confrontano le esecuzioni con e senza una skill ne stabiliscono il ritiro in base al solo guadagno. Il guadagno è prossimo allo zero sia quando la skill è stata interiorizzata, sia quando né il modello né la skill forniscono la capacità richiesta: uno stato che definiamo non coperto. Noi, invece, non forniamo la skill, valutiamo il modello su un compito sintetizzato a partire da essa e consideriamo affidabile un punteggio elevato ottenuto senza la skill solo se un altro modello trae beneficio dalla skill, poiché quasi metà dei punteggi elevati proviene da compiti da cui nessun modello trae beneficio. Su quattro modelli, un criterio pubblicato basato sul guadagno, applicato con un compito per skill, elimina oltre metà delle skill associate a capacità non coperte. Su SkillsBench, 28 dei 31 ritiri si basano su prove che nessuna esecuzione ha superato per intero, mentre il ritiro basato sul punteggio ottenuto senza la skill non comporta alcuna perdita rilevabile di ricompensa. I verdetti ottenuti senza la skill si riproducono tra compiti diversi più spesso di quelli del criterio basato sul guadagno (kappa di Cohen: 0,42 contro 0,23), ma differiscono tra modelli: un hub deve quindi valutarli per ciascun modello. Mettiamo a disposizione 1.251 skill, con compiti e punteggi per singolo elemento relativi a quattro modelli.