Distillazione attenta ai progressi per ridurre la stagnazione negli agenti basati su piccoli modelli linguistici

Abstract degli autori

Sebbene i sistemi di agenti basati su grandi modelli linguistici (LLM) abbiano dimostrato notevoli capacità di ragionamento e di risoluzione di compiti complessi del mondo reale, comportano anche un elevato consumo di token e tempi di inferenza lunghi, che ne limitano l’impiego pratico. Per rendere più efficienti questi sistemi, i lavori recenti si sono concentrati sul trasferimento delle capacità degli agenti dai modelli di grandi dimensioni ai piccoli modelli linguistici (SLM), attraverso la distillazione basata sul fine-tuning supervisionato. Tuttavia, quando le traiettorie di interazione si allungano, con catene estese di ragionamento e azione e numerosi feedback dall’ambiente, gli agenti studenti ottenuti per distillazione tendono a subire una stagnazione dei progressi: rimangono intrappolati in cicli improduttivi, caratterizzati dal persistere di strategie fallimentari e dalla difficoltà di compiere progressi significativi. La nostra analisi sistematica mostra che il fenomeno si verifica con regolarità in diversi SLM e ambiti applicativi. Per affrontare il problema, proponiamo Progress-Aware Distillation (ProD), un metodo che rileva e penalizza esplicitamente la stagnazione nelle traiettorie generate dagli agenti studenti. ProD rappresenta il divario di stagnazione tra studente e docente mediante un margine adattivo, così da penalizzare dinamicamente l’eventuale stagnazione. Applicando ripetutamente questa procedura, ProD consente agli agenti studenti di avvicinarsi progressivamente al comportamento del docente. Esperimenti approfonditi condotti con 8 SLM, da 0,6 miliardi a 8 miliardi di parametri, su benchmark sia nello stesso dominio sia fuori dominio dimostrano che ProD riduce sostanzialmente la stagnazione dei progressi, migliorando al contempo sia i tassi di successo sia l’efficienza nel completamento dei compiti degli agenti SLM ottenuti per distillazione.