Ricchi di valori, organizzati diversamente: misurare l’espressione e l’organizzazione dei valori nei dibattiti generati dall’IA

Abstract degli autori

Le attuali valutazioni dei dibattiti generati dai modelli linguistici di grandi dimensioni si concentrano soprattutto sulla qualità argomentativa, lasciando poco esaminata la struttura dei valori negli argomenti prodotti. Presentiamo un quadro di metriche diagnostiche per confrontare il modo in cui i valori sono espressi e organizzati nei dibattiti umani di riferimento e in quelli generati dall’IA. Il quadro distingue tra espressione dei valori, ossia la gamma di valori riconoscibili evocati da un dibattito, e organizzazione dei valori, ossia il modo in cui tali valori sono distribuiti e mantenuti nel corso dei turni di parola. Basato sulla teoria dei valori Basic-10 di Schwartz, rappresenta i dibattiti come distribuzioni di valori a più livelli — unità argomentative, enunciati, posizioni e dibattiti nel loro complesso — e permette di misurare la copertura, l’allineamento e la diffusione dei valori, nonché le dinamiche tra i turni di parola. Nei diversi sistemi di generazione esaminati, i dibattiti generati dall’IA esprimono un’ampia gamma di valori, attivando spesso un numero di dimensioni valoriali pari o superiore a quello dei corrispondenti dibattiti umani di riferimento, ma organizzano tali valori in modo diverso. I loro enunciati presentano una maggiore diffusione dei valori a livello locale, e i valutatori che non conoscono la provenienza dei dibattiti distinguono la chiarezza dei valori dalla focalizzazione sui valori. Questi risultati mostrano che la valutazione dei dibattiti dovrebbe considerare non solo la presenza dei valori, ma anche la loro organizzazione. Il codice e i materiali supplementari sono disponibili all’indirizzo https://github.com/Maoyuan-li/Value-Expression-and-Organization.