LiveMACE: valutare le capacità degli agenti LLM tenendo conto dei processi nei mercati in evoluzione

Abstract degli autori

Valutare gli agenti soltanto in base ai risultati può nascondere le capacità che li producono. Il problema è particolarmente evidente negli ambienti in evoluzione, dove i risultati riflettono un’interazione a ciclo chiuso tra il comportamento degli agenti e le condizioni esterne che cambiano. Presentiamo LiveMACEBench, un benchmark che tiene conto dei processi e usa i mercati finanziari in tempo reale come ambiente di prova in naturale evoluzione per agenti LLM persistenti. Cinque LLM di frontiera operano lungo traiettorie continue con configurazioni comparabili di Tool Use, Persistent Memory, Rule Following e Multi-Agent Collaboration. Li valutiamo sia attraverso i risultati effettivi sia mediante analisi diagnostiche specifiche per ciascun meccanismo, ricavate dalle tracce decisionali complete. Nell’arco di 30 giorni di valutazione in tempo reale, rileviamo un marcato divario tra risultati e capacità: i rendimenti effettivi spesso divergono dalle misure specifiche delle capacità, e risultati simili possono derivare da modalità d’uso dei meccanismi nettamente diverse. Le analisi diagnostiche delle tracce rivelano inoltre ostacoli distinti per le diverse capacità, mostrando che l’accesso ai meccanismi, il loro uso efficace e le prestazioni a valle non sono misure intercambiabili delle capacità degli agenti. LiveMACEBench rende misurabile questa distinzione, trasformando i mercati in tempo reale da una classifica delle prestazioni in un ambiente diagnostico per le capacità degli agenti