Attribuire la causa alla radice è un problema di ricerca: Continual Search per i fallimenti degli agenti in compiti di lunga durata

Abstract degli autori

Il crescente impiego di agenti di IA in compiti di lunga durata produce enormi registri di esecuzione. Diagnosticare i fallimenti in questi registri è fondamentale per l’affidabilità, perché permette di trasformare i segnali relativi agli esiti in interventi concreti. La mole dei dati rende impraticabile l’esame umano e crea la necessità di automatizzare l’attribuzione della causa alla radice (RCA). I metodi automatizzati di RCA basati su LLM, tuttavia, hanno una scarsa accuratezza diagnostica, soprattutto quando le tracce di esecuzione diventano più lunghe. La difficoltà deriva dal fatto che le informazioni pertinenti sono spesso scarse, distribuite tra azioni distanti e scollegate dal fallimento visibile: attribuire la causa alla radice diventa così un enorme problema di ricerca. I metodi di RCA esistenti si affidano in genere a valutazioni formulate dagli LLM in un unico passaggio per diagnosticare i fallimenti a partire dalle tracce di esecuzione. Efficaci sulle traiettorie più brevi, questi valutatori tendono però a fermarsi presto a una diagnosi plausibile, senza esaminare prove decisive presenti nelle tracce più lunghe. Presentiamo Continual Search, un framework iterativo che spinge il valutatore, in passaggi successivi, a continuare a cercare le prove diagnostiche ancora mancanti. Valutiamo Continual Search su quattro benchmark esistenti per l’RCA. Poiché gli attuali benchmark non comprendono tracce di esecuzione di enormi dimensioni, presentiamo MegaRCA-Mix per valutare l’RCA su larga scala. MegaRCA-Mix offre un impegnativo banco di prova composto da 50 prove di fallimento annotate da esseri umani, relative a compiti di lunga durata che richiedono molte operazioni. Su diverse serie di benchmark e famiglie di modelli, Continual Search migliora sistematicamente le prestazioni nell’attribuzione. Su MegaRCA-Mix, per esempio, aumenta il punteggio F1 di GPT-5.5 di oltre il 40\%, da $0.349$ a $0.498$. Un risultato ancora più interessante è che, all’interno della stessa famiglia, i modelli di fascia inferiore possono persino superare quelli di fascia superiore: una ricerca efficace conta più delle dimensioni del modello.