DecisionRank: distillazione on-policy per reranker basati su modelli decisionali

Abstract degli autori

I modelli decisionali affrontano compiti strutturati prevedendo direttamente scelte o punteggi, evitando la latenza della decodifica autoregressiva. Tuttavia, trasferire le conoscenze di ranking di un LLM generativo a un modello decisionale resta difficile: il modello insegnante esprime le proprie preferenze attraverso un elenco ordinato di sequenze di ID dei documenti, mentre il modello allievo determina il ranking usando i punteggi della posizione del primo token. Per colmare questa lacuna, presentiamo DecisionRank, un modello decisionale addestrato tramite distillazione on-policy (OPD) nello spazio degli elementi. L’OPD nello spazio degli elementi costruisce il rollout del modello allievo ordinando i punteggi dei documenti in una sequenza ordinata. Un modello insegnante generativo usa l’elenco di ranking risultante come input e fornisce un feedback condizionale per supervisionare direttamente quei punteggi. Abbinato alla supervisione del ranking offline, DecisionRank raggiunge prestazioni all’avanguardia sia nei benchmark di recupero generali sia in quelli che richiedono un ragionamento intensivo, come TREC DL, BEIR e BRIGHT. Su quattro benchmark, l’OPD nello spazio degli elementi supera costantemente obiettivi di addestramento alternativi. Anche con 1,7B di parametri, DecisionRank supera il suo insegnante generativo da 27B su TREC DL19--23. Con 8B di parametri, supera la sua controparte generativa listwise ed è $24.5\times$ più veloce su TREC DL e $16.7\times$ più veloce su BRIGHT.