Valutazione con benchmark e analisi degli errori degli agenti LLM di Deep Search e Deep Research

Abstract degli autori

Con l’evoluzione dei modelli linguistici di grandi dimensioni (LLMs) in agenti autonomi di Deep Search e Deep Research capaci di svolgere compiti articolati in più fasi e su un lungo orizzonte, valutarne l’affidabilità diventa sempre più importante. Tuttavia, gli attuali metodi di valutazione si concentrano prevalentemente sui risultati finali dei compiti, lasciando una lacuna significativa nella comprensione delle tracce di esecuzione intermedie, in cui gli agenti sono particolarmente soggetti a diversi tipi di errori. Per colmare questa lacuna, presentiamo una metodologia completa e un quadro analitico concepiti specificamente per diagnosticare gli errori nei flussi di lavoro intermedi. Su questa base, definiamo una tassonomia strutturata che classifica tali vulnerabilità in due dimensioni principali: errori a livello di sistema ed errori a livello di compito. Esaminando sistematicamente le tracce di esecuzione passo dopo passo e le interazioni tra agenti e ambiente, mostriamo in che modo questi errori incidono sulle prestazioni complessive. Infine, attraverso esperimenti empirici e un’analisi sistematica dei tipi di errore individuati, forniamo indicazioni progettuali applicabili, con l’obiettivo di migliorare la robustezza, le capacità di ragionamento e l’affidabilità degli agenti di Deep Search e Deep Research.