Valutare nello spazio latente: modellazione generativa efficiente della ricompensa tramite una compressione che preserva la semantica

Abstract degli autori

La modellazione della ricompensa richiede spesso di rappresentare congiuntamente più criteri di valutazione e di ragionare su di essi, ma esprimere questo processo a parole, token per token, può comportare un notevole costo di inferenza. Studi recenti sul ragionamento latente suggeriscono che gli stati continui possano consentire di svolgere questo compito in modo più compatto. Presentiamo LatentGRM, un sistema di valutazione latente basato sulla suddivisione in blocchi semantici, sulla compressione e sulla ricostruzione. Sfruttando la struttura delle valutazioni guidate da griglie di criteri per orientare la compressione, LatentGRM apprende traiettorie continue compatte che consentono di formulare giudizi autonomi su coppie senza generare valutazioni testuali. Un interprete separato ricostruisce da queste traiettorie il testo delle valutazioni, offrendo una visione offline delle informazioni conservate dopo la compressione. A parità di dati di addestramento e di backbone, LatentGRM raggiunge un’accuratezza aggregata nelle preferenze competitiva rispetto a quella dei giudici espliciti addestrati con Supervised Fine-Tuning (SFT), sia alla scala 4B sia a quella 8B. In quattro ambiti di benchmark, LatentGRM-8B comprime le traiettorie di valutazione di 8,9--9,2 volte e riduce il tempo totale di inferenza del giudice di 6,1--7,0 volte con vote@5. Interventi controllati sulle griglie di criteri mostrano che le informazioni sulle preferenze dipendenti dai criteri vengono trasmesse lungo la sequenza latente. Nel complesso, questi risultati dimostrano che la valutazione latente continua può ridurre notevolmente il costo di inferenza mantenendo una qualità dei giudizi competitiva.