Quando l’empatia manca l’obiettivo: un benchmark sullo spostamento dell’obiettivo nei consigli dei LLM

Abstract degli autori

I modelli linguistici di grandi dimensioni usati nelle conversazioni possono rispondere con calore e rassicurazione senza aiutare l’utente a raggiungere l’obiettivo che ha dichiarato. Definiamo questo fallimento $\textbf{goal displacement}$: la sostituzione dei contenuti sostanziali pertinenti all’obiettivo con contenuti volti a mantenere una persona. Per misurarlo, presentiamo $\textbf{GDB}$ (Goal Displacement Benchmark), che comprende 230 scenari in nove ambiti e $4{,}134$ risposte di 18 modelli valutate da esseri umani. Una tassonomia $2 \times 2$ incrocia i vincoli rigidi con il disagio emotivo, distinguendo l’incapacità di mettere in discussione obiettivi irrealizzabili o di unire l’empatia a indicazioni pratiche dallo spostamento inverso, in cui la ricerca non richiesta di soluzioni sostituisce il sostegno emotivo richiesto. Una griglia di valutazione basata su un test di eliminazione verifica se, una volta rimosse le frasi puramente di sostegno, rimane un aiuto sostanziale. Rispetto ai punteggi assegnati dagli autori per la gravità dello spostamento, i valutatori indipendenti raggiungono un κ ponderato pari a $κ= 0.82$. Lo spostamento negli scenari-trappola varia da $0.0\%$ a $37.7\%$ ed è fortemente correlato in senso negativo con il punteggio Elo di Chatbot Arena ($ρ= -0.706$, $n = 15$). Lo spostamento inverso raggiunge il $41.9\%$, con tassi considerevoli anche nei modelli in cui lo spostamento negli scenari-trappola è trascurabile. Una verifica fattoriale avvalora la distinzione rispetto all’accondiscendenza sociale. Le risposte valutate da esseri umani nella condizione ad alta complessità e bassa pressione mostrano un’accondiscendenza del $35.0\%$ ma uno spostamento del $7.5\%$, con una scarsa associazione tra i due fenomeni. Il confronto tra checkpoint OLMo-2 corrispondenti mostra che lo spostamento nei casi che combinano empatia e vincoli rimane al $52.3\%$ dopo il fine-tuning supervisionato e scende al $13.8\%$ dopo l’ottimizzazione diretta delle preferenze. GDB offre uno strumento diagnostico riproducibile per verificare se le risposte aiutino a raggiungere l’obiettivo dell’utente definito in termini operativi, a supporto del confronto tra modelli, della valutazione dopo l’addestramento e dei test di regressione. Rendiamo disponibili il dataset, le annotazioni e la griglia di valutazione con licenza CC-BY-4.0, e il codice di valutazione con licenza MIT.