SocialArena: valutare l’intelligenza sociale nei grandi modelli linguistici

Abstract degli autori

Presentiamo SocialArena, un benchmark per definire e valutare sistematicamente l’intelligenza sociale dei grandi modelli linguistici (LLM). Sebbene gli LLM siano sempre più impiegati in applicazioni che prevedono interazioni sociali, come la consulenza per la salute mentale, i chatbot per la compagnia e il tutoraggio educativo, le valutazioni esistenti restano frammentarie, concentrandosi su capacità isolate o su singoli scenari, e l’affidabilità delle valutazioni è in gran parte ancora da verificare. Questo lavoro offre tre contributi principali per affrontare queste limitazioni. (1) Proponiamo innanzitutto un quadro unificato a tre livelli, che definisce l’intelligenza sociale secondo tre dimensioni di capacità: abilità nel gioco di ruolo, ragionamento sugli stati mentali e ragionamento sui comportamenti. Per rendere operativa questa definizione, progettiamo un paradigma di dialogo basato sul gioco di ruolo, con il pensiero del personaggio esplicitato ai fini della valutazione, che consente di valutare simultaneamente queste capacità in modo da rispecchiare le interazioni umane realistiche. (2) Per garantire la diversità degli scenari sociali ed evitare così che le conclusioni delle valutazioni siano limitate a scenari specifici, introduciamo il framework U-TRIMF, che ci guida nella sintesi di contesti sociali con un’ampia copertura. (3) Per ottenere valutazioni affidabili, investiamo 132,4 mila dollari per reclutare e formare annotatori umani e adottiamo un protocollo in stile arena con annotazioni umane, in cui gli annotatori confrontano le risposte dei modelli e assegnano etichette di preferenza accompagnate da critiche in linguaggio naturale. Ci auguriamo che SocialArena possa offrire spunti e indicazioni preziosi per i futuri miglioramenti degli LLM.