Imparare in modo efficiente quando ragionare e quando no: ottimizzazione della policy del token radice per il ragionamento adattivo

Abstract degli autori

I grandi modelli di ragionamento (LRM) ottengono prestazioni elevate esplicitando le tracce del proprio ragionamento prima di produrre la risposta, ma soffrono del problema dell’eccesso di ragionamento: dedicano uniformemente molte risorse di calcolo a richieste di difficoltà diversa. Mentre i modelli proprietari attenuano il problema con meccanismi di instradamento opachi, gli LRM open source non dispongono ancora di un meccanismo efficiente per integrare il ragionamento adattivo, a causa sia degli elevati costi di addestramento sia della scarsa divulgazione delle procedure di addestramento. Per affrontare il problema, presentiamo RPO (Root-token Policy Optimization), un framework che permette agli LRM di decidere autonomamente quando ragionare, addestrando soltanto il token radice iniziale (per esempio, per decidere se usare il tag <think>) mediante una ricompensa relativa al gruppo e vantaggi calcolati per gruppo. Concentrandosi su questo punto di diramazione decisivo, RPO riduce drasticamente i costi di addestramento e l’uso della VRAM. Su diverse famiglie di modelli e a diverse scale, RPO apprende a modulare il ragionamento in base alla difficoltà impiegando appena il ~2% delle risorse di calcolo necessarie per addestrare i precedenti metodi di ragionamento adattivo.