I modelli linguistici possono trarre vantaggio da bias induttivi specifici del dominio

Abstract degli autori

I modelli linguistici vengono in genere addestrati con un’unica architettura su domini e fonti di dati diversi. I transformer moderni sono stati ampiamente perfezionati per questo tipo di apprendimento general-purpose, ma sono altrettanto efficaci su diversi sottoinsiemi dei dati di preaddestramento? Esaminiamo la questione addestrando da zero piccoli modelli linguistici su sottoinsiemi rappresentativi dei dati di preaddestramento, come testi web, codice e matematica. Introduciamo varianti dei transformer in cui le funzioni di attivazione standard sono sostituite da spline apprese e adattate a dataset specifici, un modo semplice per modificare i loro bias induttivi. Combinando architetture e dataset, valutiamo il trasferimento tra domini, cioè quanto bene un’architettura adattata a un dominio si comporta sui dati di un altro. Riscontriamo che le varianti di transformer adattate migliorano l’efficienza dell’addestramento o la generalizzazione su tutti e sette i dataset testati, ma i vantaggi sono spesso specifici del dominio. Per esempio, le architetture adattate su un dataset di linguaggio naturale come FineWeb ottengono buoni risultati su TinyStories, mentre quelle adattate sulla matematica si comportano male sul linguaggio naturale. Individuiamo diversi meccanismi alla base di questi miglioramenti, tra cui bacini di perdita più ampi e «biglietti della lotteria» più numerosi. I nostri risultati mostrano che diversi sottoinsiemi dei dati di preaddestramento possono trarre vantaggio da meccanismi di apprendimento differenti, mettendo in luce un limite della tendenza dominante verso un numero ridotto di architetture e ottimizzatori general-purpose. Ciò indica un’opportunità per migliorare l’efficienza dei dati sviluppando strategie di apprendimento specifiche per dominio che mantengano la capacità di addestrare modelli general-purpose.