RT-J: preaddestramento su larga scala di transformer relazionali per previsioni che richiedono poco contesto

Abstract degli autori

I modelli fondazionali per tabelle e database relazionali sono sempre più utilizzati per compiti predittivi in diversi ambiti scientifici e industriali. Tuttavia, adattare i modelli esistenti a dataset mai visti richiede decine di migliaia di esempi. Presentiamo RT-J, un modello fondazionale relazionale (RFM) da 85 milioni di parametri che produce previsioni accurate anche con poche centinaia di esempi nel contesto, o meno. A questo scopo, abbiamo innanzitutto assemblato Join, un’ampia raccolta di 639 database acquisiti dal web con 6.023 compiti di previsione generati da LLM. Abbiamo preaddestrato il modello usando contesti lunghi fino a 8.192 celle di database ed esempi nel contesto selezionati da un nuovo sistema di recupero leggero basato su cammini casuali. Infine, ricorriamo all’ottimizzazione del contesto e alla combinazione di modelli in ensemble per aumentare la capacità di calcolo in fase di test. Nei compiti di regressione nel contesto di RelBench, RT-J richiede in media 10 volte meno esempi per eguagliare solide pipeline di ingegneria delle caratteristiche che impiegano LLM-agent o RDBLearn per l’estrazione delle caratteristiche e TabICLv2 o LightGBM per la previsione. Nel complesso, il nostro lavoro amplia le possibilità di effettuare previsioni su dati relazionali con poco contesto e mette in evidenza l’importanza della semantica del mondo reale, della progettazione del contesto e del preaddestramento su larga scala per gli RFM.