ReSAIL: mitigare il collasso nell’auto-distillazione iterativa degli agenti

Abstract degli autori

L’auto-distillazione iterativa consente agli agenti basati su LLM di imparare da impieghi successivi, offrendo una via verso l’auto-miglioramento ricorsivo (RSI). Tuttavia, nei nostri esperimenti con i metodi esistenti, le prestazioni durante l’impiego crollano da un ciclo all’altro, mentre diminuiscono anche le prestazioni nei compiti quando sono disponibili informazioni privilegiate (PI). Per contrastare questo collasso, diamo priorità ai passaggi di interazione più informativi per la distillazione e preserviamo il comportamento condizionato dalle PI quando lo studente diventa l’insegnante del ciclo successivo. Presentiamo Retentive and Selective Augmentation for Iterative Self-Distillation (ReSAIL), un componente aggiuntivo per l’auto-distillazione iterativa basata sulle PI. ReSAIL seleziona i passaggi di interazione in cui le PI modificano maggiormente le previsioni dell’insegnante e bilancia tra le traiettorie le perdite di distillazione che ne derivano. Inoltre, regolarizza le distribuzioni di output dello studente condizionate dalle PI, avvicinandole a quelle dell’insegnante congelato nei passaggi selezionati e in quelli non selezionati, così da preservare tale comportamento per la supervisione nel ciclo successivo. Su ALFWorld e TextCraft, ReSAIL mantiene miglioramenti sostanziali per modelli di diverse dimensioni nell’arco di tre cicli, con un aumento assoluto medio del 22,5% nei tassi di successo del ciclo finale quando viene aggiunto ai metodi di riferimento basati sull’auto-distillazione. Anche la selezione dei dati offline guidata dalla sensibilità migliora l’accuratezza nella previsione delle azioni degli agenti GUI multimodali su AITZ. Questi risultati forniscono le prime prove del fatto che un meccanismo di apprendimento più robusto può mitigare efficacemente il collasso delle prestazioni nell’auto-distillazione iterativa degli agenti lungo le traiettorie di impiego.