The Pulse

Il design a sandwich di Huginn supera Ouro nei test su modelli comparabili

Uno studio presentato ad arXiv il 16 ottobre confronta il design di Huginn, con un loop tra una sezione iniziale e una finale, con lo stack Transformer interamente ricorrente di Ouro. A parità di scala, Huginn ottiene risultati migliori nei

AI.info Team · Scritto con l’IA · verificato · 2026-10-19

In uno studio su modelli comparabili da 730 milioni di parametri, un Transformer in stile Huginn ha superato Ouro in tutti e 10 i benchmark, ma il vantaggio non è stato uniforme tra i compiti. Secondo i ricercatori, i miglioramenti maggiori sono derivati dal collocare i calcoli ripetuti al centro della rete; reimmettere il prompt nel loop a ogni passaggio ha aiutato nei compiti sensibili al contesto, ma poteva penalizzare il ragionamento matematico.

Lo studio, “Towards Looped Models Done Right, Part I”, è stato presentato ad arXiv il 16 ottobre 2026. I sette autori confrontano modelli addestrati da zero a parità di numero di parametri, profondità logica e quantità di token, per poi verificare se i risultati relativi al design valgano anche per i modelli mixture-of-experts.

Huginn sposta il loop al centro

I modelli linguistici con loop riutilizzano blocchi Transformer in più passaggi di calcolo, riducendo il numero di pesi distinti da memorizzare e consentendo al modello di eseguire più livelli logici di calcolo. Il design di Ouro ripete in loop l’intero stack Transformer. Huginn colloca invece un nucleo ripetuto tra una sezione iniziale eseguita una sola volta, che elabora l’input, e una sezione finale, che produce l’output.

Nel confronto tra modelli densi, lo studio ha posto entrambi i design sullo stesso piano: 730 milioni di parametri memorizzati e 112 esecuzioni logiche di blocchi. Ouro ha ripetuto quattro volte il suo stack di 28 blocchi. Huginn ha usato una sezione iniziale di otto livelli, un loop di otto passaggi attraverso un nucleo di 12 livelli con pesi condivisi e una sezione finale di otto livelli. I ricercatori hanno valutato entrambi i modelli su 10 test relativi a conoscenze, ragionamento, matematica e generazione di codice.

«L’architettura a sandwich, con una sezione iniziale, un blocco ricorrente e una sezione finale, migliora sistematicamente le prestazioni nei compiti di estrazione di informazioni dal contesto e in quelli che richiedono un ragionamento intensivo», scrivono Benhao Huang e i coautori nell’abstract dello studio. Benhao Huang et al., “Towards Looped Models Done Right, Part I”

I progressi nel ragionamento hanno comportato compromessi non uniformi

Rispetto al modello di controllo Ouro, che ripete l’intero stack, la struttura a sandwich ha aumentato il punteggio di Huginn di 12 punti su MATH500 e di 2,61 punti su DROP. I ricercatori riferiscono che i miglioramenti su MATH500 e BBH-CoT si sono mantenuti con quattro diverse quantità di risorse per l’addestramento. I compiti incentrati sulle conoscenze e quelli con requisiti rigidi per l’output, tuttavia, non hanno mostrato miglioramenti costanti e alcuni punteggi sono diminuiti.

Lo studio ha esaminato anche l’iniezione dell’input: l’aggiunta della rappresentazione del prompt prodotta dalla sezione iniziale allo stato ricorrente prima di ogni iterazione del loop. Per Huginn, questa modifica ha migliorato i punteggi su MMLU, BBH-CoT, DROP e due test di generazione di codice. Ha ridotto il punteggio su MATH500 di 3,60 punti e quello su GSM8K di 2,51 punti, a ricordare che rendere più facile il recupero delle informazioni contenute nel prompt non aiuta necessariamente in ogni tipo di calcolo.

Altre scelte architetturali hanno prodotto risultati meno netti. Inizializzare casualmente lo stato ricorrente ha aiutato in alcuni benchmark e penalizzato in altri; un design separato basato su uno stato ricorrente alto e uno basso non ha mostrato benefici costanti. Gli autori affermano che i test non stabiliscono in che modo l’inizializzazione casuale influisca sull’indipendenza dal percorso o sulle prestazioni con un numero di iterazioni del loop superiore a quello usato nell’addestramento.

Il vantaggio si è mantenuto nei modelli sparsi

Nel confronto tra modelli mixture-of-experts, entrambi i modelli con loop avevano 8,0 miliardi di parametri residenti e circa 794 milioni di parametri attivi per passaggio fisico. Dopo un addestramento su 500 miliardi di token, Huginn ha ottenuto punteggi superiori a Ouro in otto benchmark su 10. I maggiori vantaggi riportati sono stati di 4,70 punti su GSM8K e 3,60 su MATH500; Ouro ha mantenuto vantaggi più contenuti su ARC-Challenge e BBH-CoT.

Huginn ha registrato anche una loss di bilanciamento del carico tra gli esperti inferiore a quella di Ouro, che gli autori interpretano come un uso più uniforme degli esperti del modello. Rispetto a un distinto modello MoE feedforward di riferimento a 112 livelli, però, Huginn non ha prevalso nel complesso: quel modello ha ottenuto risultati migliori in sette test su 10, mentre Huginn lo ha superato su DROP e GSM8K e ha eguagliato il suo risultato su MATH500. Secondo lo studio, Huginn ha usato il 75% di parametri residenti in meno rispetto a quel modello feedforward di riferimento, a parità di FLOP nell’addestramento e nell’inferenza.

Il lavoro è accompagnato da codice e checkpoint

I risultati indicano una preferenza progettuale, non una superiorità universale di ogni componente di Huginn. Nei test sui modelli densi, la posizione del loop ha prodotto i miglioramenti più chiari, mentre l’iniezione dell’input ha modificato le prestazioni in funzione del fatto che un compito dipendesse dal contesto del prompt o dal ragionamento quantitativo in più passaggi. I ricercatori chiedono ulteriori confronti controllati con l’evolversi dei design dei modelli con loop.

Il repository xLLM-Loop degli autori fornisce codice per l’addestramento e la valutazione ed elenca i checkpoint pubblicati per il lavoro. Il risultato centrale del confronto tra modelli densi resta circoscritto: con 730 milioni di parametri memorizzati e 336 miliardi di token di addestramento, il design completo di Huginn ha superato Ouro in tutti e 10 i benchmark esaminati.