Che cosa rende efficaci le interazioni di un agente sociale? Apprendere da esiti verificabili in mondi abbinati

Abstract degli autori

Un’interazione sociale efficace richiede più che risposte fluenti: gli agenti devono arrivare a piani adatti alle esigenze e alle circostanze dei partecipanti. Le valutazioni esistenti degli agenti sociali si affidano soprattutto a LLM che giudicano la conversazione, senza verificare il piano che ne risulta. Presentiamo HICO-Bench, un benchmark di 180 scenari quotidiani di coordinamento, come l’allocazione di risorse, la pianificazione degli orari e l’autorizzazione, in cui due agenti con informazioni riservate conversano e poi registrano indipendentemente il piano concordato. Un programma verifica la fattibilità (Feasibility: i due resoconti coincidono e soddisfano le condizioni riservate di entrambi i partecipanti), mentre un LLM in veste di giudice verifica la coerenza (Integrity: la conversazione è compatibile con il piano registrato); superare entrambe le verifiche costituisce un successo verificato (Verified Success). Ogni scenario ha due versioni che condividono lo stesso contesto pubblico ma differiscono per una condizione riservata, così che il piano corretto cambia da una versione all’altra. Su tredici LLM, il 36% delle conversazioni valutate molto positivamente per il raggiungimento dell’obiettivo non supera la verifica Verified Success. Per apprendere da esiti disponibili solo alla fine di una conversazione, proponiamo Paired-Credit Policy Optimization (PaCPO). Dopo ogni intervento, PaCPO chiede all’agente un piano provvisorio, lo verifica in entrambe le versioni dello scenario e premia gli interventi dopo i quali i piani provvisori risultano adatti alle rispettive versioni. PaCPO porta il tasso di Verified Success di Qwen3-8B dal 20,4% al 28,3%.