Iris: verso la frontiera della ricerca

Abstract degli autori

Presentiamo Iris-mini e Iris-pro, due agenti di ricerca addestrati rispettivamente alle scale 35B-A3B e 397B-A17B, insieme alla pipeline dei dati e alla procedura di addestramento su cui si basano. I compiti sono costruiti a ritroso a partire dalla struttura dei collegamenti ipertestuali di un corpus web: creiamo catene a più passaggi su un grafo di entità ricavato da una pagina iniziale e dai suoi link in uscita, riscriviamo ogni entità che non costituisce la risposta come riferimento descrittivo, in modo che nessun indizio possa essere risolto tramite corrispondenza di stringhe, e ammettiamo solo le domande a cui un modello di riferimento non sa rispondere senza consultare fonti, ma che risolve quando gli vengono fornite le prove a supporto. Queste domande vengono poi trasformate in traiettorie, filtrate sia a livello di traiettoria sia a livello di turno prima dell’SFT. La policy viene quindi ottimizzata tramite RL con ricerche in tempo reale; il valutatore delle ricompense e il sistema che riassume le osservazioni operano all’interno del cluster di addestramento, mentre i rollout troppo lunghi vengono interrotti a livello di richiesta e ripresi, al passaggio successivo, dal loro prefisso già consolidato. Alterniamo le due fasi in una procedura che chiamiamo SFT-RL climbing, riportando alla successiva fase supervisionata i rollout più difficili tra quelli risolti e quelli più efficienti di ogni ciclo di RL. Poiché, su questi benchmark, la gestione del contesto durante l’inferenza conta più della maggior parte delle differenze riportate tra i sistemi, valutiamo ogni benchmark sia con sia senza tale gestione, mantenendo invariati gli strumenti disponibili, il limite di contesto e il valutatore. Tutti i risultati provengono da un unico agente ReAct, senza sottoagenti né verifiche in fase di test. Con la gestione del contesto attiva, su BrowseComp, BrowseComp-ZH, DeepSearchQA e HLE i due modelli raggiungono rispettivamente $82.2/84.8/86.9/52.3$ e $88.6/85.1/92.9/56.4$: i migliori risultati complessivi tra gli agenti di ricerca open source nelle rispettive fasce di parametri. Prevediamo di pubblicare i pesi dei modelli insieme alla procedura completa per la costruzione dei dati, l’addestramento e la valutazione.