Distillazione che tiene conto dell’harness per agenti basati su piccoli modelli linguistici

Abstract degli autori

Gli agenti basati su modelli linguistici vengono impiegati con un harness, il software che circonda il modello e ne gestisce il contesto, gli strumenti e il feedback. Quando un agente di questo tipo viene distillato in uno più piccolo, l’harness rimane invariato: il modello studente deve quindi acquisire soprattutto le capacità specifiche del modello insegnante che l’harness non può fornire, come agire correttamente sulla base delle informazioni dell’harness. La distillazione standard, però, imita gli output completi del modello insegnante e tratta l’harness come parte dell’input. Proponiamo Harness-Aware Distillation (HAD), che concentra la distillazione su ciò che il modello insegnante aggiunge rispetto all’harness. HAD integra la distillazione on-policy con due componenti: una preferenza tra azioni che mette a confronto le azioni dello stesso modello insegnante con e senza le informazioni dell’harness, valutata dopo il ragionamento dello studente, e una verifica di validità che scarta le coppie di preferenze in cui l’azione preferita contraddice i dati registrati dall’harness. Mostriamo che questo confronto fornisce allo studente informazioni che la sola imitazione del modello insegnante non può offrire e che HAD non richiede ricompense legate al compito, etichette di successo o informazioni future. Su diversi benchmark per agenti con compiti a lungo termine e su più modelli, HAD supera i metodi di riferimento basati sulla distillazione on-policy, a parità di harness fisso. La nostra analisi mostra che HAD entra meno spesso in cicli improduttivi e si riprende dagli errori più spesso rispetto ai metodi di riferimento. Suggerisce inoltre che HAD conserva in modo adattivo nei propri pesi il feedback che può apprendere, mentre legge dall’harness le informazioni sullo stato.