Pensa meno, localmente: apprendimento locale delle preferenze per comprimere il ragionamento

Abstract degli autori

I modelli di ragionamento di grandi dimensioni ottengono ottimi risultati su compiti impegnativi, ma le loro lunghe catene di pensiero spesso comportano costi di inferenza considerevoli, perché continuano a ragionare anche dopo aver ottenuto informazioni sufficienti. I metodi esistenti per comprimere il ragionamento agiscono principalmente sulle traiettorie di ragionamento, prestando meno attenzione alla decisione locale se sia necessario continuare a ragionare dato lo stato corrente. Proponiamo LoCo, un metodo di apprendimento locale delle preferenze per comprimere il ragionamento. LoCo individua nei tracciati generati dal modello stesso gli stati candidati a un ragionamento eccessivo, congela i prefissi di ragionamento corrispondenti, rigenera da quegli stessi stati continuazioni più brevi e verificate e addestra il modello sulle coppie di preferenze condizionate allo stato così ottenute, usando DPO. Questa formulazione insegna al modello quando continuare a ragionare e quando concludere, invece di incoraggiarlo semplicemente a produrre traiettorie più brevi nel complesso. Costruiamo i dati di addestramento interamente a partire da tracciati matematici generati dal modello stesso e valutiamo LoCo su cinque benchmark matematici e tre benchmark di generazione di codice. LoCo riduce la lunghezza dei completamenti del 41,7\%--45,4\% in matematica e del 23,4\%--36,3\% nel codice, mantenendo o migliorando l’accuratezza e ottenendo il miglior AUC in tutti i benchmark di codice. LoCo migliora costantemente il compromesso tra accuratezza ed efficienza in matematica e si trasferisce efficacemente alla generazione di codice nonostante sia stato addestrato solo sulla matematica, dimostrando la generalità interdominio dell’apprendimento locale delle preferenze per comprimere il ragionamento. Il codice e il modello saranno resi pubblici all’indirizzo https://github.com/MuyaoYuan/LoCo.