EventGPT: pretraining sul prossimo evento sugli storici bancari dei clienti

Abstract degli autori

Un modello preaddestrato a prevedere il prossimo evento di un cliente può stimare la probabilità di eventi futuri senza essere addestrato sulle relative etichette e fornire una rappresentazione riutilizzabile per attività bancarie supervisionate a valle. Preaddestriamo EventGPT, un transformer causale gerarchico, mediante stima di massima verosimiglianza del token successivo sul Multimodal Banking Dataset (MBD-mini), un dataset pubblico composto da 100.224 clienti, 38,8 milioni di transazioni e 66,3 milioni di rilevazioni di geolocalizzazione. Mantenendo uno stato per evento, EventGPT si addestra in circa due ore su una singola GPU L4, con finestre fino a 8.192 token. Sulla base della sua distribuzione dei prossimi eventi e senza usare etichette, EventGPT assegna un punteggio a cinque target della forma «il cliente effettua per la prima volta il mese prossimo una transazione di un determinato tipo», con valori di ROC-AUC compresi tra 0,79 e 0,92. Il gradient boosting applicato a 114 feature ingegnerizzate richiede da 10.000 a 300.000 mesi-cliente etichettati per raggiungere prestazioni equivalenti su quattro target e resta al di sotto di EventGPT sul quinto. Nella previsione dei prodotti, gli embedding congelati di EventGPT ottengono risultati inferiori alle feature ingegnerizzate (ROC-AUC media di 0,787 contro 0,808 su cinque fold di test); un ensemble con media dei ranghi che combina EventGPT, i campi del profilo e i conteggi dei token con le feature ingegnerizzate migliora i risultati di 0,014–0,017, di cui 0,007–0,016 sono attribuibili al contributo di EventGPT. Il codice e i pesi preaddestrati sono disponibili.