Prima considerare, poi cancellare: come il ragionamento porta i modelli a interpretare «alcuni» e «o» alla lettera

Abstract degli autori

Quando qualcuno dice «alcuni studenti sono stati promossi», chi ascolta ne deduce che non tutti lo sono stati. Oggi i modelli di ragionamento permettono agli utenti di decidere quanto a lungo un modello debba ragionare prima di rispondere, ma non sappiamo che effetto abbia il ragionamento aggiuntivo su inferenze quotidiane come questa. Lo studiamo direttamente: manteniamo fissi i pesi di un modello, modifichiamo soltanto il tempo che dedica al ragionamento e registriamo quale interpretazione sceglie. Un secondo strumento interrompe il ragionamento del modello stesso in punti successivi e gli chiede una risposta, mostrando dove cambia l’interpretazione. Il ragionamento porta i modelli a interpretare le parole logiche in senso logico: cancella le implicature di \emph{some} (\emph{not all}) e \emph{or} (\emph{not both}) nella maggior parte dei modelli di ragionamento aperti esaminati e in GPT-5, mentre migliorano le inferenze guidate dal contesto, come quelle relative alle risposte indirette. La traccia mostra perché: i modelli prendono inizialmente in considerazione l’interpretazione arricchita e la cancellano in seguito. Rispondere sulla base di quella prima interpretazione, un rimedio esplorativo applicato in fase di inferenza, permette di recuperare queste implicature senza compromettere l’accuratezza letterale. Le valutazioni dei modelli di ragionamento dovrebbero misurare come interpretano, non soltanto quanto sono accurati.