Harness-Zero: distillazione dell’harness tramite l’agente come harness

Abstract degli autori

Gli harness per agenti, sistemi esterni che mediano l’interazione tra modello e ambiente, possono migliorare notevolmente le prestazioni degli agenti, ma i benefici restano legati all’harness in uso al momento della messa in produzione. Poiché l’harness migliore varia a seconda del dominio, dell’istanza e del modello, un agente generalista deve accontentarsi di un harness condiviso ma subottimale oppure scegliere tra un insieme in continua espansione di harness specializzati. Studiamo quindi la distillazione degli harness per agenti: usiamo un harness ottimizzato per un dominio o un’istanza come guida durante l’addestramento e trasferiamo nei pesi del modello i comportamenti che induce, in modo che i benefici persistano anche con un unico harness target fisso. La difficoltà è che i due harness differiscono per spazio delle azioni e informazioni disponibili, perciò la guida fornita dall’harness ottimizzato non può fungere direttamente da supervisione per quello target. Presentiamo Harness-Zero, che consente di distillare gli harness tramite l’agente come harness. Guidato dall’harness ottimizzato, un agente-harness corregge le risposte del modello studente prima dell’esecuzione, nello spazio delle azioni dell’harness target, trasformando la guida dell’harness in esempi di addestramento. Il fine-tuning sulle traiettorie così ottenute interiorizza nel modello i comportamenti indotti dall’harness, consentendo di rimuovere l’harness specializzato al momento della messa in produzione. I nostri esperimenti, condotti in ambiti che spaziano dal lavoro intellettuale all’uso di strumenti e alla scienza, mostrano che: (1) per i modelli linguistici di frontiera che usano lo stesso harness evoluto, l’agente come harness supera il codice come harness; (2) rimuovendo l’harness specializzato al momento della messa in produzione, Harness-Zero aumenta dal 23,3% al 44,3% il successo medio macro del modello base nei compiti, superando persino il 41,7% raggiunto quando l’harness resta in uso; (3) Harness-Zero recupera comportamenti indotti dall’harness che non sono presenti nel modello base, con un recupero medio dell’82,3% su 28 pattern nei tre ambiti.