Scegliere gli LLM per le interazioni strategiche tra agenti

Abstract degli autori

I benchmark basati sulla teoria dei giochi sostengono che la capacità dei modelli linguistici di grandi dimensioni (LLM) di prendere decisioni strategiche vari a seconda del tipo di gioco, della struttura delle interazioni e delle dimensioni delle capacità valutate. Tuttavia, misurano le prestazioni strategiche soltanto di singoli modelli fissi. Parallelamente, i sistemi attuali che selezionano gli LLM scelgono i modelli in base al compromesso tra qualità e costo, ma non tengono conto della struttura strategica. Non considerano la possibilità che l’avversario sia sconosciuto, si adatti nel tempo e modifichi il segnale di feedback. Per affrontare questo limite, ampliamo le valutazioni basate sulla teoria dei giochi e definiamo la selezione strategica come un metagioco sovrapposto al gioco di base. A ogni turno, un selettore strategico schiera un LLM scelto da un insieme di modelli per affrontare un gioco la cui matrice dei payoff è latente e viene appresa online. Riscontriamo che il segnale di valutazione dipende dal gioco e che, per ricavarne uno affidabile, occorre un numero $N$ di esecuzioni con seed diversi molto più elevato rispetto ai tradizionali benchmark. Valutando 10 LLM in 5 giochi, mostriamo che la competenza strategica di un modello varia notevolmente a seconda della configurazione del gioco e dell’avversario affrontato. Su questa base, implementiamo una serie di metodi di selezione e rileviamo che gli approcci basati sugli embedding delle query o sull’autoriflessione degli LLM non riescono a cogliere con costanza il segnale strategico sottostante. Un algoritmo leggero di bandit a più bracci offre risultati più affidabili nei diversi giochi, pur restando inferiore al miglior modello fisso. Infine, mostriamo che semplici varianti non stazionarie e avversarie degli algoritmi bandit non superano un metodo di riferimento basato su un bandit stazionario: un risultato che evidenzia i limiti degli attuali metodi nel gestire un avversario che cambia nei contesti strategici.