Post-addestramento continuo dei piccoli modelli tramite auto-distillazione sintetica

Abstract degli autori

Il post-addestramento continuo pone una duplice sfida: acquisire nuove capacità e conservare le conoscenze precedenti. La Self-Distillation Fine-Tuning (SDFT) attenua il problema ricorrendo all’auto-supervisione con esempi dimostrativi nel contesto, ma richiede solide capacità di apprendimento nel contesto e di seguire le istruzioni. Di conseguenza, la SDFT non funziona con i modelli più piccoli, essenziali per gli impieghi a bassa latenza direttamente sui dispositivi. Per consentire l’apprendimento continuo anche su scala ridotta, individuiamo anzitutto la causa del fallimento. Mostriamo che la scarsa acquisizione e la perdita delle conoscenze precedenti sono correlate linearmente con lo spostamento della distribuzione del modello sottoposto a post-addestramento: ciò rivela la necessità di apprendere all’interno della distribuzione. Introduciamo quindi la Synthetic Self-Distillation (SynthSelf), che riproduce la riscrittura all’interno della distribuzione della SDFT affidando il compito a un modello della stessa famiglia, minimamente più grande, che svolge la funzione di allineamento. Abbinata alla supervisione off-policy e al rejection sampling, questa soluzione fornisce ai piccoli modelli la supervisione di alta qualità di cui hanno bisogno senza alterarne la distribuzione originaria. Valutazioni condotte su 4 dataset per l’acquisizione, tra cui una miscela, e 14 benchmark per la conservazione delle conoscenze mostrano che SynthSelf supera sistematicamente 6 metodi, tra cui la distillazione off-policy e on-policy, su 3 scale dimensionali di piccoli modelli. Ulteriori analisi approfondite confermano che SynthSelf apre la strada a un apprendimento continuo efficace per i piccoli modelli.