Inerzia del ragionamento: gli LLM continuano a ragionare anche quando si dice loro di non farlo

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) offrono sempre più spesso «modalità di ragionamento» esplicite, ma la loro controparte, il «non ragionamento», ha ricevuto molta meno attenzione. Studiamo il comportamento degli LLM quando viene chiesto loro di non ragionare lungo due direttrici. a. Come si misura il non ragionamento? I lavori precedenti lo definiscono generalmente attraverso indicatori indiretti, come la disattivazione della modalità di ragionamento o l’assenza di tracce lunghe. Questi indicatori sono inaffidabili: una modalità di ragionamento disattivata può comunque produrre ragionamenti, mentre le tracce lunghe possono contenere testo riempitivo anziché vere inferenze. Noi invece normalizziamo ogni risposta suddividendola in una traccia precedente alla risposta e una risposta finale, e la valutiamo su tre livelli: (i) Empty-Thinking Rate, per verificare il rigoroso rispetto dell’istruzione di fornire soltanto la risposta; (ii) Question-Pre-answer Relevance, che tiene conto delle istruzioni e misura la somiglianza tra la domanda e la traccia precedente alla risposta; e (iii) Explicit Inference Rate, che usa un LLM come giudice per rilevare le inferenze esplicite visibili. Insieme, queste metriche distinguono le risposte che contengono soltanto la risposta, il testo pertinente ma privo di inferenze e le inferenze esplicite. b. Come varia il non ragionamento tra compiti e modelli? Valutiamo sei interventi sui prompt, applicati a sei LLM, con domande booleane, a scelta multipla e a risposta aperta. Rileviamo che i controlli espliciti che chiedono di non ragionare non riescono a eliminare in modo affidabile le inferenze visibili. I modelli mostrano invece un’«inerzia del ragionamento»: le inferenze esplicite persistono anche con controlli rigorosi e diventano più frequenti man mano che si amplia lo spazio delle possibili risposte. L’accuratezza rimane stabile nei compiti con domande booleane e a scelta multipla, mentre quelli a risposta aperta rivelano un compromesso tra il rispetto dell’istruzione di fornire soltanto la risposta e l’accuratezza nel compito. Riformulare le stesse domande variando lo spazio delle possibili risposte mostra che fornire risposte candidate rende più facile produrre risposte che non contengono altro. Questi risultati mostrano che il non ragionamento è una capacità non banale: non si può presumere che le sole impostazioni del modello o le sole istruzioni interrompano il ragionamento esplicito, e questa capacità merita una valutazione sistematica accanto alla capacità di ragionare.