Glance: il generatore è il proprio reranker

Abstract degli autori

La generazione aumentata dal recupero si avvale comunemente di modelli separati per il reranking e la risposta, duplicando la permanenza in memoria dei modelli e l’elaborazione dei passaggi. Presentiamo Glance, che dota il generatore di un adapter decisionale leggero e di una testa pointer per assegnare un punteggio ai passaggi candidati a partire da un prefill condiviso. Brevi probe di rilevanza vengono eseguite a partire dal contesto memorizzato nella cache, producendo un punteggio per ogni passaggio senza eseguire il prefill separatamente per ciascuna coppia query-passaggio. Un unico backbone 9B residente supporta la generazione, le decisioni generali e il reranking, con circa 0,1 GiB di memoria aggiuntiva per ogni competenza decisionale. Dopo 39 minuti di fine-tuning su MS MARCO, Glance raggiunge un nDCG@10 di 0,741 su SciFact e di 0,345 su NFCorpus, contro rispettivamente 0,721 e 0,326 per bge-reranker-v2-m3. Su 300 domande di HotpotQA, il contesto selezionato migliora di 0,045 l’F1 delle risposte rispetto al contesto selezionato dal cross-encoder, con lo stesso generatore di base (IC bootstrap appaiato al 95% [0,014, 0,076]). In uno studio di scalabilità, la qualità del reranking continua a crescere fino a 200 candidati (43k token) valutati a partire da un unico prefill condiviso, superando il cross-encoder di 0,058 nDCG@10; inoltre, un adapter attivato solo per le probe consente alla generazione di proseguire dalla cache originale dei passaggi. Questi risultati iniziali dimostrano il reranking basato sul generatore con un unico backbone residente; la valutazione comprende attualmente due dataset di recupero, un dataset di QA e una famiglia di backbone.