SearchJev: un modello System-1 rapido e calibrato per gli agenti di ricerca

Abstract degli autori

Gli agenti di ricerca prendono ripetutamente brevi decisioni sulla pertinenza, sulla sufficienza delle prove e sulle azioni di ricerca. Usare modelli linguistici generativi per queste decisioni aumenta la latenza e produce valutazioni di confidenza inaffidabili. Presentiamo SearchJev, un modello System-1 rapido e calibrato che separa le decisioni di ricerca dal ragionamento e dalla generazione di System-2. Dati uno stato della ricerca e uno schema decisionale, SearchJev assegna direttamente un punteggio alle opzioni ammissibili, senza generare output in modo autoregressivo. Proponiamo Soft-Label Learning for Calibrated Decisions (SLCD) per apprendere le probabilità delle decisioni a partire da una supervisione incerta e calibrarne il grado di confidenza. In un agente di ricerca a doppio sistema, SearchJev gestisce le decisioni brevi e demanda i giudizi incerti a System 2, che mantiene la pianificazione, la generazione delle query e la composizione delle risposte. Introduciamo inoltre SearchDecision-Bench, un benchmark che riunisce sei tipi di decisioni di ricerca per l’addestramento e la valutazione. Su SearchDecision-Bench, SEARCHJEV migliora la qualità delle decisioni rispetto ai modelli autoregressivi Qwen3.5 della stessa dimensione, prende decisioni 5,2-5,3 volte più rapidamente e riduce l’errore di calibrazione atteso medio del 41-74%. Su BrowseComp-Plus, gli agenti a doppio sistema accelerano di 3,7-4,7 volte la ricerca attiva, migliorando al contempo l’accuratezza delle risposte dal 45% fino al 54%.