Indebolire per rafforzare: distillazione autonoma on-policy indotta dall’indebolimento per grandi modelli di ragionamento

Abstract degli autori

La distillazione autonoma offre un modo per migliorare i modelli di ragionamento quando non è disponibile un docente esterno adeguato. Tuttavia, gli approcci comuni si basano su informazioni privilegiate per costruire un modello docente autonomo più potente, il che ne limita l’uso quando sono disponibili solo prompt non etichettati. In questo articolo presentiamo la distillazione autonoma on-policy indotta dall’indebolimento (WISD), che costruisce invece una controparte più debole del modello originale e usa il contrasto tra i due come segnale di addestramento, senza richiedere informazioni privilegiate. Esploriamo due modi per costruire il modello più debole: la quantizzazione a pochi bit e il pruning basato sulla magnitudine. Valutiamo WISD su diverse architetture e scale, in compiti di ragionamento matematico e di programmazione. Su questi benchmark, quantizzazione e pruning migliorano l’accuratezza media dei modelli originali rispettivamente di 4,0 e 5,5 punti percentuali, raggiungendo prestazioni allo stato dell’arte anche senza informazioni privilegiate. In particolare, il pruning porta l’accuratezza di Qwen3.5-4B dal 57,7% al 70,5% su HMMT 2025 e dal 39,1% al 56,7% su LiveCodeBench v6. La quantizzazione porta l’accuratezza di Qwen3.6-35B-A3B rispettivamente dal 68,5% al 74,6% e dal 61,8% al 69,5% sugli stessi benchmark. Questi risultati dimostrano che WISD è un framework di distillazione autonoma nuovo ed efficace per i grandi modelli di ragionamento.