Evolvere in base alle capacità: migliorare l’autoevoluzione dell’harness attraverso l’adattamento delle skill

Abstract degli autori

L’autoevoluzione dell’harness offre agli agenti basati su LLM un modo pratico per migliorare grazie all’esperienza di esecuzione, senza aggiornare i parametri del modello. La sua efficacia dipende dalla capacità dei modelli di mettere in pratica le indicazioni fornite dai rispettivi harness. Abbiamo però riscontrato che i benefici non sono uniformi tra modelli con capacità diverse: le skill che migliorano le prestazioni dei modelli più forti possono essere poco utili, o persino peggiorare i risultati, per quelli più deboli. Su sette modelli e tre benchmark, abbiamo individuato 103 coppie compito-skill in cui le skill migliorano il risultato di GPT-5.6-luna di 31,1 punti, ma peggiorano quello di Gemma-4-E4B di 8,8 punti. Nell’86% delle esecuzioni fallite dei modelli più deboli, il requisito violato è già indicato nella skill. Da qui nasce l’esigenza di adattare le skill: riformulare quelle esistenti in base alle capacità dell’esecutore, rendendo più facili da mettere in pratica le indicazioni che contengono. A questo scopo, analizziamo gli errori nell’esecuzione degli strumenti, nella gestione del contesto, nel rispetto delle istruzioni e nella verifica, e sintetizziamo queste diagnosi in una meta-skill fissa che guida l’adattamento durante l’autoevoluzione dell’harness. Guidato dalla meta-skill, Kimi-K3, un riscrittore esterno capace, adatta le skill senza dati ricavati dall’esecuzione, migliorando i risultati dei tre esecutori più deboli di 5,1-14,1 punti rispetto alle skill originali. Integriamo poi questo adattamento in un ciclo di autoevoluzione di cinque round, nel quale ogni modello rivede la propria skill sulla base delle traiettorie di esecuzione e del feedback del verificatore. Su sette esecutori, da Gemma-4-E4B a Kimi-K2.5, la meta-skill migliora sistematicamente i punteggi finali di 2,0-5,1 punti rispetto allo stesso ciclo senza meta-skill. I nostri risultati offrono indicazioni pratiche per progettare metodi più efficaci di autoevoluzione dell’harness.