Distillazione collaborativa del ragionamento tramite feedback incrociato e selezione coerente

Abstract degli autori

Le capacità di ragionamento sono fondamentali per far progredire i modelli linguistici di grandi dimensioni, ma gli approcci attuali richiedono enormi risorse computazionali oppure faticano a trasferire efficacemente tali capacità a modelli più piccoli. I metodi standard di distillazione si basano su ricompense legate al risultato e non distinguono tra un ragionamento solido e una risposta corretta per caso. Proponiamo Collaborative Reasoning Distillation (CRD), un framework che migliora il ragionamento nei modelli compatti attraverso tre innovazioni: (1) un feedback incrociato interattivo, in cui i modelli insegnanti valutano criticamente e in modo iterativo i rispettivi ragionamenti; (2) una valutazione granulare della qualità di ogni passaggio, che rileva la validità logica indipendentemente dalle risposte finali; e (3) una composizione dei passaggi attenta alla coerenza, che combina punti di forza complementari. I modelli allievi vengono addestrati tramite Reasoning Quality Optimization (RQO) con vincoli di budget. Il nostro modello, CRD-4B, raggiunge il 97,3% su MATH-500 e il 70,3% su AIME’25, superando i modelli di riferimento pur utilizzando soltanto 50K esempi di addestramento: un dataset fino a 12 volte più piccolo di quelli dei modelli comparabili.