VALCON: valutazione tramite benchmark e miglioramento della coerenza dei valori nei modelli linguistici di grandi dimensioni attraverso la variazione tra due ruoli

Abstract degli autori

Le attuali valutazioni dell’allineamento ai valori dei modelli linguistici di grandi dimensioni (LLM) si basano in larga misura sulla conformità degli output, trascurando la questione se gli LLM mantengano la coerenza dei valori quando alternano i ruoli di generatore e valutatore. Questa coerenza è sempre più importante, perché i moderni agenti basati su LLM e i processi di allineamento si affidano spesso allo stesso LLM sia per generare azioni sia per valutarne l’accettabilità. Per superare questo limite, proponiamo VALCON, un framework per la costruzione di dati basato sui ruoli che rende operativa la coerenza dei valori in tre suite di benchmark (VAB-Consistency, VAB-Boundary, VAB-Challenge) attraverso la variazione tra due ruoli. Abbinando sistematicamente il comportamento generativo di un LLM ai suoi giudizi valutativi sulla base degli stessi principi, VALCON produce dati di valutazione mirati che mettono in luce discrepanze nascoste nei valori. Esperimenti condotti su 28 LLM rivelano una diffusa incoerenza tra i ruoli: modelli i cui output sono altamente conformi spesso non riescono ad allineare i propri giudizi a ciò che essi stessi generano. Per comprendere e affrontare questa discrepanza, svolgiamo un’analisi meccanicistica che rivela un disaccoppiamento delle rappresentazioni dipendente dal ruolo, associato a questa asimmetria comportamentale. Sulla base di queste osservazioni, proponiamo un intervento mirato alle rappresentazioni che riduce efficacemente i casi di incoerenza. Il nostro lavoro identifica la coerenza dei valori come una dimensione distinta dell’allineamento e offre un processo completo di valutazione, analisi e mitigazione. Il codice e i dati sono disponibili all’indirizzo https://github.com/tjunlp-lab/VALCON.