Espansione dell’inferenza con confidenza calibrata per il ragionamento in fase di test guidato da un valutatore

Abstract degli autori

Il ragionamento guidato da un valutatore pone, a ogni passaggio, un problema di controllo locale: fidarsi della risposta corrente, fornire una risposta di ripiego o impiegare più risorse di calcolo per l’inferenza. Formuliamo questa scelta come un controllore a tre azioni che tiene conto del costo computazionale: valuta le azioni terminali in base al successo previsto della risposta e l’espansione in base a una misura surrogata del successo della continuazione fondata su rollout, attribuendo esplicitamente un costo al calcolo. Un’analisi locale del divario tra le azioni individua quando gli errori nei punteggi possono cambiare una decisione, mentre un limite superiore al rimpianto atteso tiene conto degli errori lungo il percorso di espansione effettivamente seguito. Sulla base di questa analisi, apprendiamo e calibriamo stime della confidenza specifiche per ciascuna azione, con penalità locali per l’incertezza nelle decisioni ambigue. Su compiti di espansione in larghezza e di revisione riservati alla valutazione, il controllore migliora l’utilità osservata rispetto a politiche fisse selezionate tramite calibrazione, riducendo al contempo il costo computazionale online normalizzato rispettivamente di circa il 30% e il 16%. Su quattro seed di Qwen3-8B, il costo computazionale è inferiore a quello di fitted Q in entrambi i casi, mentre le differenze di utilità sono piccole e di segno variabile. I risultati inquadrano il ragionamento guidato da un valutatore come allocazione delle risorse in condizioni di incertezza, anziché come una forma di ragionamento uniformemente più efficace.