Verso modelli a ciclo progettati a dovere, parte I: topologia, iniezione dell’input e progettazione dello stato ricorrente

Abstract degli autori

I modelli linguistici a ciclo riutilizzano gli stessi blocchi Transformer fisici a diversi livelli di profondità logica, ma nelle architetture consolidate la collocazione della ricorrenza, l’iniezione dell’input e l’organizzazione dello stato ricorrente sono intrecciate. Isoliamo queste dimensioni in modelli addestrati da zero a parità di numero di parametri, profondità logica e quantità di token usati per l’addestramento, poi verifichiamo se i principi di progettazione risultanti si applicano anche a modelli Mixture-of-Experts (MoE) con lo stesso numero di parametri residenti e attivi. L’architettura a sandwich composta da un preambolo, un blocco ricorrente e una coda migliora sistematicamente le prestazioni nei compiti di estrazione dal contesto e in quelli che richiedono un ragionamento approfondito. L’iniezione dell’input migliora soprattutto il recupero delle conoscenze e l’uso del contesto, mentre l’inizializzazione casuale e gli stati ricorrenti H/L separati danno risultati contrastanti o negativi. Nel complesso, questi risultati favoriscono la progettazione in stile Huginn: alla scala di 730 milioni di parametri e 336 miliardi di token, l’architettura Huginn completa supera Ouro in tutti e dieci i benchmark. I vantaggi di Huginn rispetto a Ouro si trasferiscono ai modelli MoE. Alla scala 8BA0.8B (32BA3B quando il modello viene espanso), con un addestramento su 500 miliardi di token, Huginn supera Ouro in quasi tutti i benchmark relativi a conoscenza, ragionamento e programmazione, mostrando anche una distribuzione più equilibrata degli esperti. A parità di FLOP nell’addestramento e nell’inferenza, il modello in stile Huginn usa il 75% di parametri residenti in meno rispetto a un modello MoE feedforward di riferimento con 112 livelli. Nonostante il minor numero di parametri fisici, supera il modello di riferimento in DROP e GSM8K, ne eguaglia le prestazioni in MATH500 e rimane competitivo negli altri benchmark.