Vela: il comportamento degli utenti come supervisione stimola l’intelligenza degli LLM

Abstract degli autori

I modelli linguistici di grandi dimensioni sono sempre più impiegati in applicazioni che utilizzano le cronologie del comportamento degli utenti nel lungo periodo, dagli assistenti personali ai sistemi di raccomandazione e pubblicità. Queste applicazioni richiedono una dimensione dell’intelligenza degli LLM legata agli utenti: dedurre le preferenze, le intenzioni e le probabili azioni future di una persona da dati comportamentali raccolti nell’arco di settimane o anni. Eppure i modelli attuali sono addestrati su testi statici o dati sintetici, che non colgono come il comportamento degli utenti evolva nel tempo. Le registrazioni dei comportamenti reali, già disponibili su larga scala sulle piattaforme di contenuti e negli agenti di assistenza personale, offrono un segnale naturale per la supervisione. Proponiamo di usare il comportamento degli utenti come supervisione e presentiamo Vela, un framework che trasforma i dati comportamentali reali degli utenti in compiti e traiettorie utilizzabili per l’addestramento. A partire dalle registrazioni anonime del comportamento di 100.000 utenti, Vela genera 100.000 compiti basati su 91 modelli di compiti riferiti a contesti reali; un filtro basato sulla difficoltà e criteri di accettazione delle traiettorie permettono di conservare circa 75.000 compiti con traiettorie di addestramento selezionate. Il fine-tuning di Qwen3.6-35B-A3B su queste traiettorie migliora le prestazioni rispetto al modello di base fino a 11,5 punti nei compiti relativi agli utenti e di 4 punti in media nei benchmark generali. L’addestramento su una maggiore quantità di dati comportamentali degli utenti migliora ulteriormente le prestazioni nei compiti relativi agli utenti, e l’apprendimento per rinforzo successivo al fine-tuning supera quello effettuato a partire dal modello di base fino a 7,7 punti. Questi miglioramenti suggeriscono che il comportamento reale degli utenti sia una fonte di supervisione utilizzabile su larga scala, sia per le capacità incentrate sugli utenti sia per l’intelligenza più generale degli LLM.