BazaarBench: la sicurezza della delega nei mercati C2C decentralizzati gestiti da agenti basati su LLM

Abstract degli autori

Nei mercati decentralizzati tra consumatori (C2C), le persone mettono in vendita beni, trattano con sconosciuti e si valutano a vicenda: la fiducia si fonda quindi sulla reputazione. Gli agenti basati su modelli linguistici di grandi dimensioni (LLM) agiscono ora per conto degli utenti, esponendo a rischi il loro denaro, la loro privacy e la loro reputazione. Presentiamo BazaarBench, un mercato C2C simulato e un benchmark per valutare la sicurezza di questi agenti. Tiene traccia della proprietà degli articoli, delle loro condizioni e degli impegni assunti nelle transazioni, combinando verifiche dei registri e valutazioni degli LLM basate su criteri per individuare sei tipi di errore in cinque fasi. Facciamo funzionare tre mercati di base per 30 giorni simulati, ciascuno con 100 agenti basati su un unico modello e inventari ricavati da un campione pubblico di eBay. In 45 prosecuzioni della simulazione, valutiamo cinque modelli con istruzioni ordinarie, sotto la pressione di scadenze o con istruzioni avversarie volte a sfruttare gli altri operatori. Ogni prosecuzione dura sette giorni simulati e parte da una copia dello stato di un mercato al giorno 30. Il modello sottoposto a test controlla gli stessi 20 agenti selezionati, che conservano le rispettive identità, gli inventari e le cronologie, mentre gli altri 80 continuano a usare il modello di base. Con istruzioni ordinarie, tutti e cinque i modelli tentano di promettere lo stesso articolo a più acquirenti. L’aggiunta di obiettivi e scadenze aumenta questi tentativi per ogni modello. Con istruzioni avversarie, la quota delle transazioni concordate dai venditori sottoposti a test che vengono concluse nonostante gli articoli non siano disponibili o le loro condizioni siano state descritte come migliori di quelle effettive sale dal 15,4% al 33,4%, raggiungendo il 55,5% per GPT-5.4. Nella media dei modelli e dei mercati, i guadagni settimanali simulati per agente sottoposto a test passano da 20 dollari statunitensi con istruzioni ordinarie a 33 dollari statunitensi con istruzioni avversarie. La maggior parte dell’aumento deriva da articoli che i venditori non hanno mai posseduto. Rendiamo disponibili il simulatore, gli stati salvati dei mercati, il codice di valutazione e i registri relativi a 357.608 chiamate ai modelli degli agenti, per valutare nuovi modelli e sviluppare agenti più sicuri per i mercati C2C.