UNREAL: unificare il recupero delle informazioni e l’uso di contesti lunghi con un unico modello

Abstract degli autori

L’inferenza su contesti lunghi e la generazione aumentata dal recupero di informazioni (RAG) selezionano le evidenze su scale molto diverse: da un singolo prompt lungo a un intero corpus. Ci chiediamo se un unico meccanismo interno al modello possa selezionare le evidenze su tutto questo intervallo. Presentiamo UNifying REtrieval And Long-Context with a Single Model (UNREAL), un framework di selezione delle evidenze integrato nel modello che abbraccia il recupero da un corpus e l’inferenza su contesti lunghi. UNREAL codifica i chunk e ricava le query di ricerca direttamente dalle rappresentazioni interne dell’LLM congelato. Aggiunge meno di 500K parametri addestrabili e lascia invariato il backbone. Su un indice di Wikipedia da 3 miliardi di token e 21 milioni di chunk, tutti e quattro i backbone densi e ibridi di UNREAL superano i sistemi retriever-reranker all’avanguardia. Il modello migliore porta il recall dal 49,1% al 73,2% su HotpotQA, dal 31,7% al 60,1% su 2WikiMultiHopQA e dall’8,8% al 14,4% su MuSiQue. Applicato a compiti su contesti lunghi, lo stesso meccanismo di selezione rimuove gli elementi di distrazione prima della generazione, portando l’accuratezza su NoLiMa dall’1,0% al 24,83% alla sua lunghezza massima di contesto di 128K token, e il punteggio F1 su LV-Eval dal 49,97% al 54,66% a 256K. UNREAL riduce inoltre le operazioni in virgola mobile (FLOPs) e il tempo al primo token rispetto all’inferenza sull’intero contesto a partire da circa 32K token, con vantaggi crescenti all’aumentare del contesto. Nel complesso, questi risultati indicano che la selezione delle evidenze interna al modello costituisce una base comune per il recupero da un corpus e per l’inferenza su contesti lunghi con poche evidenze.