RPTune: selezione e organizzazione del contesto apprese per la ricerca nei cataloghi con gli LLM

Abstract degli autori

Per le piccole imprese commerciali (SMB) i cui cataloghi rientrano nella finestra di contesto di un LLM a contesto lungo, inserire l’intero catalogo nel prompt offre un’alternativa interessante alla ricerca in più fasi, progettata principalmente per i grandi marketplace con milioni di articoli. Tuttavia, il fatto che l’intero catalogo rientri nella finestra di contesto non garantisce che il modello sappia usarlo efficacemente, poiché gli LLM non sfruttano in modo uniforme i contesti lunghi. Studiamo quindi la ricerca nei cataloghi inclusi nel contesto attraverso due questioni complementari: (1) come selezionare e presentare i cataloghi all’LLM e (2) come adattare l’LLM alla selezione dei prodotti nei contesti così preparati. Proponiamo RPTune, un framework end-to-end che combina la selezione e l’organizzazione dei cataloghi apprese dal modello con il post-addestramento dell’LLM, usando dati di supervisione generati automaticamente e ancorati al catalogo. Un sistema di selezione basato su encoder-reorganizer ordina ed elimina i prodotti in base al feedback dell’LLM impiegato a valle; i cataloghi così preparati, a loro volta, migliorano l’efficacia del post-addestramento dell’LLM grazie a una ricompensa relativa al contesto. Valutiamo RPTune su 7 commercianti reali di diversi settori del commercio al dettaglio, usando 100 richieste conversazionali complesse per ciascun commerciante. RPTune migliora sistematicamente l’accuratezza della ricerca sia con LLM proprietari sia con LLM a pesi aperti: la selezione e l’organizzazione del contesto producono guadagni fino a 31,4 punti percentuali, a cui il post-addestramento aggiunge in media altri 10,3 punti.