ZooWork-ShopRanker: un reranker aperto per l’e-commerce, allineato alle preferenze

Abstract degli autori

I reranker aperti addestrati per la ricerca generale sul web si adattano solo in parte all’e-commerce, dove le decisioni di posizionamento dipendono non solo dalla pertinenza tematica, ma anche dalle preferenze degli utenti, dai vincoli relativi ai prodotti e dalla loro adeguatezza nel confronto. È difficile ottenere su larga scala etichette per queste preferenze: il traffico di ricerca reale fornisce query e prodotti candidati autentici, ma non etichette affidabili per le coppie. Presentiamo ZooWork-ShopRanker, una famiglia di reranker per l’e-commerce (0,6B, 4B e 8B) allineati alle preferenze d’acquisto etichettate da valutatori. Le coppie usate per l’addestramento sono etichettate da un gruppo di modelli linguistici di grandi dimensioni (LLM) di diverse famiglie, dotati di capacità di ragionamento e impiegati come riferimento per le preferenze. Le loro valutazioni sono corrette per il bias di posizione e suddivise per livelli di concordanza; i reranker vengono poi addestrati su queste etichette. Il modello di punta allineato da 8B funge quindi da modello insegnante per la distillazione dei più efficienti modelli da 4B e 0,6B, addestrati a riprodurne i punteggi e affinati sulle coppie valutate. Per misurare i progressi, introduciamo ShopRank-Bench, un benchmark che limita la contaminazione e comprende circa 10.000 coppie di preferenze tratte da traffico privato, in entrambi i formati testuali, suddivise in livelli in base al numero di famiglie di valutatori che si sono espresse a favore di ciascuna etichetta. ZooWork-ShopRanker-8B e -4B superano significativamente il miglior reranker aperto usato come riferimento; ogni modello supera significativamente il proprio modello di base non allineato e ZooWork-ShopRanker-0.6B supera un modello di dimensioni analoghe. I miglioramenti si confermano in entrambi i formati e si estendono ai comuni benchmark MTEB. Rendiamo disponibili i modelli e ShopRank-Bench nei suoi due formati per agevolare ulteriori ricerche.