SearchHorizonBench: un benchmark per il valore della ricerca negli agenti di IA

Abstract degli autori

Gli agenti di IA devono decidere quando vale la pena sostenere il costo di un’altra ricerca. Le probabilità di successo delle risposte misurano la difficoltà delle domande, mentre questa decisione richiede di stimare il beneficio aggiuntivo della ricerca. Presentiamo SearchHorizonBench, un benchmark per apprendere e valutare il valore della ricerca sulla base dell’esperienza di esecuzione. Le continuazioni appaiate e le esecuzioni ripetute distinguono il guadagno atteso dalla ricerca dal rumore della generazione e collegano la qualità delle previsioni all’utilità delle decisioni. La risorsa comprende 45.632 esecuzioni relative a 3.168 domande. Su 1.632 domande escluse dall’addestramento, la calibrazione basata sui dati storici riduce l’errore di Brier del 16,2%, con un miglioramento concentrato nelle informazioni sul livello di successo. I guadagni della ricerca hanno una deviazione standard di 21,4 punti percentuali e gli stimatori basati sui dati storici esaminati spiegano meno del 2% di questa varianza nelle stime puntuali. Le curve di apprendimento a parità di configurazione esaminano questa distinzione a diverse scale di addestramento. Al prezzo di riferimento dei token, le osservazioni gratuite per la selezione offrono un’opportunità di guadagno in termini di utilità di 2,49 punti rispetto alla migliore azione costante, dovuta principalmente alle informazioni sul guadagno. Storici riutilizzabili, suddivisioni fisse dei dati, solide baseline e strumenti di valutazione costituiscono una base comune per sviluppare e valutare agenti che tengano conto del valore della ricerca.