Decodifica vincolata: dannosa o vantaggiosa? Un riesame del suo impatto sulle prestazioni degli LLM

Abstract degli autori

La decodifica vincolata garantisce che i modelli linguistici di grandi dimensioni (LLM) producano output conformi a formati prestabiliti, ma si presume spesso che comprometta di per sé il ragionamento. Esaminiamo questa ipotesi distinguendo tre tipi di vincoli: i \emph{vincoli di formato}, che impongono una struttura all’output; i \emph{vincoli di validità}, che mascherano le risposte non valide; e i \emph{vincoli di ragionamento}, che limitano i percorsi di ragionamento. Dimostriamo sul piano teorico che vincoli appropriati possono preservare o migliorare le prestazioni eliminando i percorsi non validi. Su quattro famiglie di modelli e undici modelli open source, studi di ablazione causale condotti su diversi benchmark con strategie di decodifica vincolata all’avanguardia mostrano che l’apparente calo delle prestazioni deriva in larga misura da modalità di formulazione dei prompt e formati di output non equivalenti, anziché dal mascheramento a livello del decoder. I vincoli di validità, intanto, migliorano l’affidabilità e l’estraibilità eliminando le risposte non valide, mentre i vincoli di ragionamento possono migliorare il ragionamento e, di conseguenza, l’accuratezza quando impongono percorsi vantaggiosi. Questi risultati mostrano che l’impatto della decodifica vincolata dipende dal tipo di vincolo e dalla porzione dello spazio degli output che elimina. Il nostro codice è disponibile.