Dalle settimane alle ore: generazione rapida e rigorosa di dati SFT per LLM orientati al ragionamento

Abstract degli autori

Il post-training orientato al ragionamento consente ai modelli linguistici di grandi dimensioni (LLM) di risolvere compiti complessi tramite inferenza in più passaggi. Il fine-tuning supervisionato (SFT) su tracce di ragionamento di alta qualità è un approccio particolarmente efficiente, ma la sua efficacia dipende in modo cruciale da un’attenta selezione dei dati. Le pipeline esistenti si basano su un costoso paradigma che prima genera e poi filtra: grandi raccolte di lunghe tracce di ragionamento vengono prodotte da più modelli insegnanti e successivamente filtrate in base alla difficoltà e alla diversità usando altri LLM, spesso con settimane di calcolo. In questo lavoro proponiamo SFTProbe, un approccio radicalmente diverso che aggira questa pipeline predicendo direttamente la qualità dei dati di ragionamento. Mostriamo che un breve adattamento basato su LoRA, combinato con la valutazione della loss su appena il 5% di ciascuna traccia di ragionamento, è sufficiente per stimare sia la difficoltà sia la diversità. SFTProbe si fonda su una visione geometrica del post-training, secondo cui gli LLM preaddestrati si trovano in un bacino della loss a basso rango e anisotropo. Sondando questo bacino tramite perturbazioni a basso rango, costruiamo firme compatte della loss, il cui clustering ne coglie la diversità, mentre la loss nei punti di flesso della curvatura fornisce un indicatore robusto della difficoltà. Forniamo anche un semplice criterio per selezionare i modelli insegnanti. Sul piano empirico, il nostro approccio riduce i tempi di selezione dei dati da settimane a ore, mantenendo o migliorando le prestazioni. In modo notevole, nel ragionamento matematico, 5.000 esempi generati eguagliano le prestazioni del dataset altamente filtrato OpenThoughts-Math, composto da 89.000 esempi, mentre 7.500 esempi generati ottengono un’accuratezza superiore del 2,5%. Presentiamo inoltre un dataset di alta qualità per il ragionamento in fisica e lo usiamo per addestrare un modello che supera un modello vincitore della medaglia d’argento alle IPhO 2025. Il codice e il dataset sono disponibili all’indirizzo https://bigml-cs-ucla.github.io/SFTProbe-page/.