MMEnterprise-Bench: valutare gli agenti aziendali su record multimodali in evoluzione

Abstract degli autori

Gli agenti aziendali rispondono a domande sui record di lavoro che cambiano con la collaborazione tra i membri di un team. Man mano che le informazioni vengono condivise, corrette e riviste in documenti, chat e figure, nello spazio di lavoro si accumulano più versioni delle stesse informazioni. Per rispondere in modo affidabile, gli agenti devono quindi ragionare sulla base di evidenze sufficienti, risolvere i conflitti tra fonti e nel tempo e riconoscere quando le evidenze disponibili non bastano a stabilire una risposta. Per valutare sistematicamente queste capacità, presentiamo MMEnterprise-Bench, un benchmark composto da 1.613 domande basate su record multimodali in evoluzione provenienti da progetti di collaborazione simulati. Le domande coprono tre categorie: ragionamento sulle evidenze, risoluzione dei conflitti e impossibilità di rispondere. Valutiamo 10 LLM multimodali proprietari e open source e rileviamo che anche i modelli più efficaci incontrano difficoltà quando le evidenze presentano conflitti tra fonti o nel tempo, oppure sono distribuite su più immagini. Inoltre, aumentare il budget di recupero o impiegare un retriever più grande migliora il recall delle evidenze, ma non si traduce sistematicamente in risposte più accurate. Questi risultati evidenziano le difficoltà persistenti nel ragionare su record di lavoro in evoluzione e fanno di MMEnterprise-Bench un banco di prova per sviluppare agenti aziendali più affidabili. Il codice e i dati sono disponibili all’indirizzo https://mlvlab.github.io/MMEnterprise-Bench/.