Library of Layers (LoL): ordinamento adattivo degli strati Transformer in fase di esecuzione

Abstract degli autori

I programmatori concatenano gli stessi componenti computazionali riutilizzabili, per esempio istruzioni condizionali o cicli, in ordini diversi per implementare algoritmi differenti. Al contrario, le architetture dei modelli linguistici esistenti eseguono sempre i propri strati nello stesso ordine. Presentiamo Library of Layers (LoL), un’architettura che ordina dinamicamente i propri strati durante l’inferenza per risolvere il problema specifico. LoL ha un solo iperparametro, la dimensione della sua libreria globale di blocchi transformer, che le consente di passare senza soluzione di continuità dal riutilizzo dei parametri alla sparsità e di generalizzare, in un’unica famiglia unificata, i compromessi tra efficienza dei parametri ed efficienza in termini di FLOP delle architetture dense, ricorrenti in profondità e mixture of experts. Mostriamo che, se preaddestrata su dati testuali, LoL ottiene prestazioni competitive rispetto a tutti e tre i modelli di riferimento citati sopra. Su dati sintetici di sudoku e labirinti, osserviamo che il modello impiega ordinamenti degli strati distinti per attuare strategie di soluzione diverse e che possiamo intervenire sul routing per costringerlo ad applicare una strategia specifica a un determinato problema. In un contesto multilingue di elaborazione del linguaggio naturale, rileviamo che LoL sceglie schemi diversi di ordinamento degli strati in base alla lingua e al sistema di scrittura. Analogamente, addestriamo LoL su dati di sicurezza e addestriamo sonde sui suoi output del router, scoprendo che queste distinguono i testi sicuri da quelli non sicuri con un AUROC elevato. LoL apre la strada a un futuro in cui i modelli compongono dinamicamente il proprio grafo computazionale, consentendo un ragionamento più efficiente e controllabile.