Agent Sociodrama: ridefinire i profili degli agenti LLM in base alle dinamiche sociali

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni (LLM) vengono sempre più spesso impiegati in team, ma falliscono secondo modalità tipicamente sociali: chi possiede informazioni resta in silenzio, chi domina la conversazione spinge il gruppo ad ancorarsi a risposte errate e le violazioni delle norme restano senza sanzioni. Presentiamo Agent Sociodrama, un framework per modellare e convalidare l’evoluzione delle dinamiche sociali nei team di agenti LLM. A partire da profili fissi, gli stati emotivi degli agenti e le loro relazioni direzionali e asimmetriche vengono aggiornati a ogni turno da un unico giudice LLM esterno e influenzano le interazioni successive. Su sei modelli LLM di base e cinque scenari sociali, valutiamo la fedeltà sociale attraverso schemi classici delle teorie sociali e il confronto con i giudizi umani. Le traiettorie risultanti mostrano schemi sociali strutturati e differenze specifiche dei modelli. Introduciamo quindi Trajectory-Guided Persona Recasting (TPR), che individua i fallimenti delle dinamiche di gruppo a partire dalle trascrizioni delle interazioni e dalle traiettorie sociali, e ridefinisce i profili degli agenti prima di ripetere il compito. Su quattro benchmark collaborativi, TPR migliora le prestazioni sia con composizioni eterogenee dei profili degli agenti sia con composizioni inizializzate casualmente, ottenendo un miglioramento dell’accuratezza fino a 83,3 punti percentuali rispetto all’assegnazione iniziale dei profili. In compiti rappresentativi di cooperazione con informazioni distribuite e di negoziazione con interessi contrapposti, superiamo SOTOPIA e AgentVerse in tre confronti su quattro, con un vantaggio fino a 37,5 punti percentuali nel tasso di Pareto. Questi risultati mostrano che le traiettorie sociali convalidate forniscono indicazioni utilizzabili per correggere i team di agenti LLM.