SteadyThought: mitigare il ragionamento insufficiente degli LLM con l’ottimizzazione delle preferenze a livello delle linee di ragionamento

Abstract degli autori

La capacità di passare con flessibilità da una traiettoria di ragionamento all’altra, ossia di cambiare linea di ragionamento, ha migliorato notevolmente le capacità dei Large Reasoning Models (LRM). Tuttavia, i modelli esistenti cambiano spesso linea troppo di frequente senza riuscire a portare avanti quelle promettenti: un fenomeno definito «ragionamento insufficiente». Sebbene i lavori recenti cerchino di attenuarlo limitando questi cambi, una correzione eccessiva potrebbe scartare traiettorie preziose. Per affrontare il problema, proponiamo Steady Thought (ST), un nuovo metodo di ottimizzazione delle preferenze a livello delle linee di ragionamento. ST inquadra il ragionamento insufficiente come un problema di preferenze nei punti in cui il modello cambia linea e impone, a partire dai punti individuati, prosecuzioni lungo un unico percorso per ottenere ragionamenti di alta qualità. ST esegue quindi l’ottimizzazione delle preferenze a livello delle linee di ragionamento, trattando la risposta appena generata come preferita e quella originale come non preferita. Esperimenti condotti su più modelli e dataset mostrano che ST riduce efficacemente il consumo di token, con riduzioni fino al 63,8%, mantenendo un’elevata accuratezza nel ragionamento. Ulteriori analisi suggeriscono che ST aiuti i modelli ad acquisire una capacità, generalizzabile ad ambiti e lingue diversi, di ridurre i cambi ridondanti di linea di ragionamento. Il codice è disponibile all’indirizzo https://github.com/MIRALab-USTC/SteadyThought.