DuoLM: raccomandazioni personalizzate rapide ed efficaci con modelli linguistici

Abstract degli autori

I modelli linguistici possono formulare raccomandazioni personalizzate a partire da contenuti dettagliati sugli elementi, dalla cronologia dell’utente e dai feedback. Tuttavia, valutare molti candidati usando i testi integrali richiede una notevole quantità di calcolo online e limita la capacità di elaborazione in fase di serving. Presentiamo DuoLM, un framework per raccomandazioni personalizzate rapide ed efficaci che integra un modello di raccomandazione compatto con un runtime efficiente per il serving. Un LLM codificatore apprende rappresentazioni compatte degli elementi da riutilizzare offline, mentre un LLM di ranking personalizzato le combina con la cronologia dell’utente e i feedback per formulare raccomandazioni. Addestriamo entrambi i modelli end-to-end mediante supervisione per le raccomandazioni e distillazione dal modello insegnante. Il runtime accelera ulteriormente l’inferenza grazie a ID di token virtuali per accedere agli embedding, al calcolo condiviso della cronologia e al replay di CUDA Graph. I risultati dei benchmark mostrano che il nostro framework raggiunge una qualità delle raccomandazioni paragonabile a quella del modello insegnante esperto. Su una singola H100, produce circa 26.400 punteggi per i candidati al secondo, con un throughput pari a circa $60\times$ quello del modello insegnante eseguito con vLLM e caching automatico dei prefissi.