UltraBERT: oltre il limite del pre-addestramento di BERT

Abstract degli autori

I recenti encoder bidirezionali sono stati aggiornati con innovazioni provenienti dai grandi modelli linguistici causali (LLM). La procedura di pre-addestramento, tuttavia, deriva ancora da convenzioni adottate su piccola scala: gli encoder restano quindi non ottimizzati a sufficienza e nessun singolo modello ottiene risultati competitivi sia nella classificazione sia nel retrieval. In questo lavoro esaminiamo fin dove sia possibile spingere le prestazioni degli encoder riconsiderando le scelte fondamentali di addestramento. Emergono tre risultati principali: (1) nei compiti downstream, le prestazioni degli encoder raggiungono un livello di saturazione dopo qualche migliaio di miliardi di token, segno che ulteriori risorse di calcolo oltre questa soglia non sono d’aiuto; (2) per modelli di diverse dimensioni, tassi di mascheramento più bassi favoriscono la classificazione, mentre tassi più alti favoriscono il retrieval, contrariamente a studi precedenti che suggerivano tassi più alti per modelli più grandi; (3) la distillazione con pruning migliora la classificazione con tassi di mascheramento bassi, ma peggiora il retrieval con tassi alti. Sulla base di questi risultati presentiamo UltraBERT, un singolo encoder che, all’interno di uno stesso batch, assegna head LM separate ai tassi di mascheramento bassi e alti e limita l’obiettivo di distillazione al tasso basso. Per quanto ne sappiamo, UltraBERT è il primo encoder a raggiungere risultati allo stato dell’arte sia nella classificazione sia nel retrieval, con punteggi di 91,0 su GLUE e 47,7 su BEIR. Nel loro insieme, questi risultati mostrano fin dove si possano spingere le prestazioni degli encoder e offrono una base fondata per l’allocazione delle risorse di calcolo, la scelta dei tassi di mascheramento e il trasferimento delle conoscenze nei modelli bidirezionali.