La sorprendente efficacia dell’eliminazione dei pesi nel post-training degli LLM

Abstract degli autori

Quanto poco deve cambiare un modello linguistico di grandi dimensioni (LLM) preaddestrato perché acquisisca nuove capacità? Abbiamo scoperto che azzerare meno dello 0,05% dei suoi pesi, senza apportare altre modifiche, eguaglia il fine-tuning completo (FFT) su larga scala in tre regimi di post-training degli LLM: apprendimento per rinforzo con ricompense verificabili, fine-tuning supervisionato e distillazione on-policy. Il nostro metodo, Deletion Tuning, apprende una maschera binaria sulla proiezione gate dei blocchi transformer. Ne derivano due vantaggi pratici: la maschera addestrata è da centinaia a migliaia di volte più piccola del checkpoint FFT corrispondente e Deletion Tuning dimentica molto meno, affrontando così una sfida centrale dell’apprendimento continuo. Nell’apprendimento per rinforzo, l’accuratezza sui task precedenti resta vicina al livello di base, mentre FFT, LoRA e il fine-tuning sparso casuale perdono fino a 5,4 punti. Per capire perché la sola mascheratura sia sufficiente, analizziamo la geometria delle variazioni dei pesi apprese con l’apprendimento per rinforzo, usando il rango stabile, la deriva dello spettro e la sovrapposizione dei pesi principali. Rispetto a LoRA e al fine-tuning sparso casuale, Deletion Tuning è il metodo più vicino a FFT in tutte e tre le misure.