Gli embedding degli utenti sono sovrapposizioni di modalità comportamentali interpretabili

Abstract degli autori

Gli embedding degli utenti sono componenti centrali dei moderni sistemi di raccomandazione, personalizzazione e modellazione comportamentale. Sebbene possano codificare in modo compatto informazioni comportamentali ricche, questi embedding sono intrinsecamente densi e opachi, il che ne limita l’interpretabilità. Per colmare questa lacuna, sosteniamo che gli embedding degli utenti possano essere intesi come sovrapposizioni sparse di modalità comportamentali interpretabili. Questa struttura è prevista direttamente dai modelli generativi del comportamento degli utenti per gli embedding lineari e si estende in modo approssimativo alle rappresentazioni basate sul deep learning secondo l’ipotesi della sovrapposizione. Le modalità sovrapposte possono essere recuperate in modo naturale con metodi di apprendimento sparso di dizionari, come gli autoencoder sparsi (SAE), e le modalità recuperate possono essere denominate automaticamente e interrogate in linguaggio naturale. Convalidiamo il recupero delle modalità confrontandolo con il ground truth noto su dati sintetici, dove gli SAE recuperano le modalità meglio dei metodi sparsi classici di riferimento, anche nel caso di embedding codificati da transformer. Applichiamo poi il metodo a embedding degli utenti classici e basati su transformer provenienti da due dataset del mondo reale. Mostriamo inoltre come le etichette in linguaggio naturale corrispondenti consentano il recupero e la caratterizzazione di audience in modalità zero-shot, usando embedding che non sono mai stati addestrati sul testo. Il framework è post hoc e indipendente dal modello e non richiede modifiche al sistema di embedding a monte.