WeFair: allineamento consapevole della fedeltà basato sul feedback umano per la riscrittura personalizzata delle query nella ricerca di video brevi

Abstract degli autori

La ricerca di video brevi richiede sistemi compatti per la riscrittura delle query, capaci di ricostruire l’intento personalizzato degli utenti a partire da query ambigue, rispettando vincoli stringenti di latenza. I metodi esistenti basati su LLM hanno migliorato la riscrittura ricorrendo a ragionamenti sintetici e al successivo feedback sul comportamento di consumo. Tuttavia, dare troppo peso al consumo successivo può favorire i contenuti coinvolgenti rispetto all’esigenza immediata dell’utente, causando una deriva dell’intento anche quando le query riscritte sono ancorate alla cronologia comportamentale. Proponiamo WeFair, un metodo di allineamento consapevole della fedeltà basato sul feedback umano per la riscrittura personalizzata delle query nella ricerca di video brevi di WeChat. WeFair usa il feedback umano in base a quanto direttamente riflette l’intento personalizzato e assegna diversi livelli di fedeltà al feedback secondo una progressione che va dalla dimostrazione alla preferenza, fino alla verifica. Per prima cosa, estraiamo le query effettive e le riformulazioni degli utenti dalle sessioni di ricerca, quindi le selezioniamo in base al supporto contestuale. Nella fase di dimostrazione, un percorso di fine-tuning supervisionato passa dall’apprendimento su larga scala della corrispondenza tra contesto e query al ragionamento e alla predizione diretta sulla riformulazione e sul mantenimento delle query da parte degli utenti. Nella fase di preferenza, l’ottimizzazione diretta delle preferenze apprende preferenze relative dal feedback sul consumo successivo. Nella fase di verifica, l’ottimizzazione di policy relativa ai gruppi premia la corrispondenza esatta con gli obiettivi di riformulazione o mantenimento, così da contenere la deriva dell’intento. Ulteriori analisi mostrano che una supervisione ampia giova all’intero percorso di addestramento supervisionato, mentre una verifica rigorosa ottiene risultati migliori rispetto alle ricompense ausiliarie. Negli esperimenti offline, WeFair-2B supera solidi modelli di riferimento per la riscrittura sia in termini di accuratezza complessiva sia di mantenimento dell’intento. Un test A/B online mostra un aumento relativo del 2,593% del tasso di visualizzazioni video efficaci e una riduzione relativa del 2,350% del tasso di riformulazione delle query. WeFair-2B è stato distribuito nel sistema di ricerca di video brevi di WeChat, che gestisce oltre 100 milioni di query al giorno.