Addestrare gli LLM alla collaborazione multiagente con ricompense informative verificabili

Abstract degli autori

Una collaborazione efficace tra agenti basati su modelli linguistici di grandi dimensioni (LLM) nei sistemi multiagente richiede di condividere le evidenze pertinenti, chiedere le informazioni mancanti e integrare i contributi degli altri agenti nelle decisioni. Addestrare questi comportamenti è difficile, perché gli esiti finali dei compiti forniscono indicazioni limitate sul valore dei singoli messaggi. Presentiamo CoSIR (Collaboration via Surprisal-based Information Rewards), un approccio di addestramento successivo che usa un ambiente semplice e verificabile per insegnare comportamenti collaborativi capaci di generalizzare a compiti più complessi e mai visti. Proponiamo un valutatore bayesiano che assegna un punteggio alle informazioni condivise in base a quanto riducono la sorpresa complessiva del team, definita come la somma dei logaritmi negativi delle probabilità assegnate all’opzione corretta sulla base delle evidenze disponibili a ciascun agente. Le richieste ricevono un punteggio in base alla potenziale riduzione della stessa quantità se le informazioni richieste fossero fornite in modo veritiero. Ricompense distinte incoraggiano gli agenti a usare le informazioni ricevute nelle proprie scelte e nei propri calcoli privati. Sottoponiamo Qwen3-4B, Qwen3-8B e Gemma-3-4B-it a un addestramento successivo tramite self-play e valutiamo il trasferimento a sette compiti di collaborazione in linguaggio naturale mai visti. CoSIR ottiene il punteggio aggregato più alto, mantenendo prestazioni competitive nei compiti generali. Le analisi dei comportamenti mostrano una maggiore condivisione delle evidenze private e meno casi giudicati come mancato utilizzo dei contributi degli altri agenti.