Apprendimento socratico delle Skill: alternare insegnamento e pratica per sviluppare Skill trasferibili negli agenti

Abstract degli autori

Le Skill degli agenti migliorano gli agenti basati su LLM rendendo le conoscenze necessarie per svolgere i compiti riutilizzabili tra una sessione e l’altra. Per apprendere Skill trasferibili servono evidenze su una procedura e sulle condizioni in cui usarla, aspetti che un tentativo riuscito può lasciare non verificati. Presentiamo Socratic Skill Learning (SSL), che alterna l’insegnamento di un esperto alla pratica dello Studente. Un Educatore guida l’indagine, mentre lo Studente resta l’unico a operare nell’ambiente e a scrivere la Skill, e può mettere in discussione, verificare e adattare i consigli ricevuti. Per verificare il riutilizzo oltre il compito di apprendimento, realizziamo SkillTransferBench, con 35 famiglie di compiti e 408 casi eseguibili, abbinando specifiche pubbliche delle variazioni a una valutazione su casi tenuti da parte in nuove sessioni di risoluzione. Nella coorte principale, composta da 22 famiglie e 155 casi, Fixed-Window SSL raggiunge un’utilità di 0,801, contro 0,723 senza una Skill, 0,761 per Trace2Skill adattato (distillazione delle traiettorie) e 0,751 per SKILL-KD adattato (distillazione contrastiva). Su tre coppie di modelli valutate sulle stesse famiglie, la guida alternata alla pratica supera sia la scrittura della Skill da parte dell’esperto sia l’insegnamento a posteriori. L’analisi del processo collega la guida alla scrittura dello Studente e alla revisione del pacchetto; un caso di studio mostra lo Studente mentre verifica e perfeziona una procedura proposta per riutilizzarla in seguito. Man mano che diminuisce la necessità di nuove lezioni, aumenta il costo delle revisioni a intervalli fissi. Issue-Guided SSL tiene traccia delle questioni irrisolte tra le revisioni della Skill per decidere quando effettuare una revisione e su cosa concentrarla: nella coorte principale raggiunge un’utilità di 0,805 con il 61,7% di token dell’Educatore in meno e il 16,9% di token complessivi della fase di acquisizione in meno rispetto a Fixed-Window SSL.