Riordinamento delle raccomandazioni orientato alla decisione: uno studio empirico su Jev

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) hanno mostrato potenzialità nel riordinamento delle raccomandazioni, ma il loro impiego comporta un importante compromesso tra la qualità delle raccomandazioni e l’efficienza nell’erogazione del servizio. Esaminiamo se un modello orientato alla decisione offra un’alternativa utile quando il compito di riordinamento consiste essenzialmente in una scelta strutturata tra elementi candidati predefiniti. In particolare, conduciamo uno studio empirico controllato su Jev, descritto da TypeSafe AI come un «System One Model», per il riordinamento delle raccomandazioni personalizzate. Lo confrontiamo con modelli specifici per le raccomandazioni e con modelli Qwen per il riordinamento pointwise e listwise, in diversi domini di Amazon Reviews e con insiemi di candidati di varie dimensioni, valutando sia l’efficacia delle raccomandazioni sia la latenza osservata nell’erogazione del servizio. I risultati mostrano che Jev mantiene un’elevata efficacia rispetto ai modelli di confronto valutati e che la sua latenza cresce molto più gradualmente di quella dei modelli Qwen pointwise, sebbene la latenza osservata nell’erogazione del servizio resti sostanzialmente superiore a quella dei modelli specifici per le raccomandazioni. Nel complesso, queste caratteristiche collocano Jev in un regime distinto di qualità e latenza al variare delle dimensioni degli insiemi di candidati e dei domini. I risultati incoraggiano ulteriori ricerche sui modelli orientati alla decisione per le raccomandazioni e per altri compiti di ordinamento con spazi di output strutturati.