Auto-miglioramento ricorrente: distillazione on-policy dinamica tra loop per i modelli linguistici a loop

Abstract degli autori

I modelli linguistici a loop (LoopLMs) offrono un modo efficiente in termini di parametri per potenziare il ragionamento, riutilizzando parametri condivisi nei passaggi di calcolo ricorrente. Nonostante il loro potenziale, l’addestramento successivo dei LoopLMs resta difficile. Gli approcci esistenti forniscono una supervisione basata sulla ricompensa, che è scarsa o costosa da estendere a più loop, oppure si affidano a insegnanti esterni o a informazioni privilegiate, con il risultato di una disponibilità limitata degli insegnanti o di un disallineamento del contesto tra insegnante e studente. Per superare questi limiti, presentiamo LoopOPD, un metodo di distillazione on-policy tra loop che usa il calcolo ricorrente aggiuntivo all’interno di un LoopLM come fonte di supervisione per il modello stesso. LoopOPD usa la policy di un loop finale, mantenuta fissa e avvantaggiata in termini di calcolo, come insegnante per uno studente in un loop intermedio, su rollout generati dallo studente. Fornisce così una supervisione fitta senza ricorrere a un insegnante esterno o a informazioni privilegiate. Proponiamo inoltre Dynamic LoopOPD (D-LoopOPD), che aggiorna continuamente l’insegnante del loop finale man mano che vengono aggiornati i parametri condivisi del modello, consentendo un auto-miglioramento ricorrente. Descriviamo come gli aggiornamenti dovuti alla distillazione si propagano tra le profondità dei loop e ricaviamo condizioni sufficienti affinché un singolo aggiornamento produca un miglioramento locale simultaneo a entrambe le profondità. Gli esperimenti sui modelli Ouro-Thinking mostrano che LoopOPD migliora il ragionamento matematico, mentre D-LoopOPD apporta ulteriori miglioramenti grazie agli aggiornamenti dinamici dell’insegnante. Sebbene siano stati addestrati soltanto su dati matematici, i modelli risultanti migliorano anche nei benchmark di ragionamento generale e generazione di codice: ciò dimostra che il calcolo ricorrente può costituire una fonte efficace di supervisione per i LoopLMs. Il nostro codice e i checkpoint dei modelli saranno resi disponibili dopo l’accettazione.