Un quadro per l’arricchimento del contesto e la robustezza selettiva degli agenti sociali basati su LLM

Abstract degli autori

I ricercatori usano modelli linguistici di grandi dimensioni come agenti nelle simulazioni sociali, fornendo loro prompt con osservazioni e informazioni di contesto pensate per orientarne le azioni. È stato tuttavia dimostrato che gli agenti basati su LLM possono cambiare sostanzialmente comportamento in risposta a variazioni dei prompt che preservano il significato, creando un problema di validazione per le simulazioni sociali. Un’ipotesi plausibile è che questa fragilità rifletta una mancanza di ancoraggio al contesto e possa essere ridotta arricchendo il contesto fornito agli agenti. Non è ancora chiaro se un contesto più ricco migliori la robustezza, anche perché ricchezza del contesto e robustezza sono raramente definite in modo da consentire confronti controllati. Rispondiamo alla prima esigenza con l’arricchimento controllato del contesto, un insieme di regole di sostituzione dei prompt che arricchisce sistematicamente diversi tipi di contesto: riempimento neutro, contesto sociale generico, ancoraggio decisionale descrittivo e ancoraggio decisionale normativo. Rispondiamo alla seconda introducendo la robustezza selettiva come criterio di validazione: insensibilità alle variazioni dei prompt che preservano il significato, combinata con una risposta direzionale ai cambiamenti del mondo sociale rilevanti per le decisioni. Mostriamo il framework in un gioco simile al dilemma del prigioniero e illustriamo come possa essere usato per individuare quali forme di arricchimento del contesto producano un comportamento degli agenti più auspicabile e robusto. Rileviamo che queste forme di arricchimento producono pattern comportamentali distinti, che variano tra i due modelli testati.