Profilazione dei fallimenti e selezione di traiettorie raggiungibili per la distillazione del ragionamento

Abstract degli autori

Addestrare modelli linguistici più piccoli sulle soluzioni di ragionamento generate da un modello docente più grande è l’approccio prevalente per trasferire le capacità di ragionamento matematico. Tuttavia, il modello studente tende a sovrad adattarsi alla distribuzione degli output del docente e generalizza male quando il proprio comportamento in fase di inferenza si discosta dai dati di addestramento. I metodi recenti cercano di colmare questo divario integrando dati sugli errori, ma le traiettorie correttive continuano a riflettere i modelli di ragionamento del docente, che lo studente non riesce a riprodurre in modo affidabile; la discrepanza tra le distribuzioni rimane quindi in gran parte irrisolta. Proponiamo un metodo, Failure Profiling and Reachable Trajectory Selection (FPRT), basato sull’idea che i dati di addestramento efficaci debbano essere determinati congiuntamente da ciò su cui lo studente fallisce e da ciò che può realisticamente apprendere. Il nostro metodo innanzitutto profila il comportamento del modello studente di fronte ai fallimenti su ciascun problema mediante campionamenti ripetuti, caratterizzandolo in termini di tasso e coerenza degli errori, così da individuare modalità di fallimento qualitativamente distinte. Ciascuna modalità richiede un segnale di addestramento fondamentalmente diverso. La modalità diagnosticata guida quindi la generazione di candidati da parte del docente attraverso strategie di prompting distinte, adattate a ciascun tipo di fallimento. Tra i candidati corretti, il nostro metodo seleziona quello i cui passaggi iniziali di ragionamento, successivi al punto di divergenza, sono più riproducibili dallo studente. Questi primi passaggi correttivi costituiscono il principale collo di bottiglia, mentre i passaggi rimanenti seguono un contesto già corretto e possono quindi essere portati avanti più facilmente. Ciò si discosta dai metodi standard di reranking, che valutano la traiettoria nel suo complesso e diluiscono così il segnale nel passaggio cruciale del ragionamento. Gli esperimenti dimostrano che il nostro metodo raggiunge prestazioni allo stato dell’arte (SOTA) su tutti e cinque i benchmark, con entrambi i backbone dei modelli studenti.