L’impronta lessicale dei dati di pre-addestramento

Abstract degli autori

Quanto dell’accuratezza nei benchmark zero-shot è spiegato dall’allineamento a livello di parola tra un corpus di pre-addestramento e il benchmark di destinazione? Studiamo questa domanda attraverso l’entropia incrociata unigramma a livello di parola (UCE), una misura dell’allineamento lessicale tra un corpus di riferimento e un benchmark di destinazione che non dipende né dal tokenizer né dal modello. L’addestramento basato sulla verosimiglianza plasma la distribuzione predittiva del modello a partire dal corpus di pre-addestramento, e i punteggi zero-shot nelle valutazioni basate sulla verosimiglianza dipendono in parte dall’allineamento lessicale tra quel corpus e il benchmark di destinazione. Per tracciare con chiarezza come l’impronta lessicale dei dati di pre-addestramento vari al variare dell’allineamento tra corpus e benchmark, occorre un pre-addestramento controllato da zero che cambi il corpus utilizzato mantenendo invariata la procedura di addestramento. In questa serie di esperimenti controllati, che comprende $10$ benchmark zero-shot, $4$ corpus di pre-addestramento e $3$ dimensioni dei modelli, riscontriamo che l’allineamento lessicale tra corpus e benchmark, misurato con l’UCE, segue costantemente l’accuratezza zero-shot in ogni benchmark: i corpus più allineati al benchmark (con un’UCE più bassa) ottengono un’accuratezza maggiore. Lo stesso segnale si estende dalla misurazione al controllo su scale più fini. A livello di documento, rafforzare l’impronta selezionando i documenti di addestramento per massimizzare l’allineamento lessicale con il benchmark produce i miglioramenti di accuratezza previsti dal meccanismo. A livello di prompt, abbinare l’impronta a ciascun prompt indirizzandolo al modello che genera bozze il cui corpus di dominio è più allineato lessicalmente con quel prompt produce miglioramenti misurabili del throughput rispetto a una baseline con un modello generalista che genera bozze. Nel complesso, i corpus di pre-addestramento lasciano un’impronta lessicale misurabile nel comportamento zero-shot dei modelli di base, e l’UCE offre uno strumento indipendente dal modello per misurare l’allineamento lessicale tra dati di riferimento e dati di destinazione.