Dory1.0-4B: un GPT normalizzato con cicli ricorrenti

Abstract degli autori

Presentiamo Dory1.0-4B, un modello linguistico da 4 miliardi di parametri, ricorrente (a ricorrenza latente) e con profondità elastica: un singolo checkpoint si adatta a diversi budget di calcolo in inferenza. Dory1.0-4B si basa su un’architettura Transformer normalizzata (nGPT), con livelli alternati di attenzione a finestra scorrevole e di attenzione completa, organizzati in un blocco di input, un blocco ricorrente condiviso e un blocco di output. In inferenza, il blocco ricorrente può essere applicato un numero variabile di volte. Abbiamo preaddestrato Dory1.0-4B su 6.000 miliardi di token. I primi 4.500 miliardi di token sono stati usati per l’addestramento in NVFP4; un’ulteriore fase di preaddestramento ha poi esteso la lunghezza del contesto a 256K token. In seguito, abbiamo completato l’addestramento del modello con il fine-tuning supervisionato (SFT) e l’apprendimento per rinforzo con ricompense verificabili (RLVR), applicando un curriculum di iterazione sensibile alla difficoltà che indirizza i prompt più difficili verso un maggior numero di cicli. Aumentare il numero di cicli migliora la precisione, con i maggiori progressi nei benchmark di programmazione, agentici e a contesto lungo. Con almeno due cicli, Dory1.0-4B supera modelli più grandi come Qwen3.5-9B, Gemma 4 12B e Gemma 4 26B-A4B, in media sui 12 benchmark. I cicli rendono inoltre Dory1.0-4B più efficiente in termini di token nei benchmark agentici: con quattro cicli, genera da 1,3 a 2,5 volte meno token rispetto a un solo ciclo, poiché il calcolo aggiuntivo avviene nello spazio latente anziché produrre output più lunghi. Per ridurre l’uso di memoria durante i cicli, Dory1.0-4B memorizza nella cache chiavi e valori solo dell’ultimo ciclo, mantenendo l’ingombro della cache KV pari a quello di un modello non ricorrente, indipendentemente dal numero di cicli, e conservando la maggior parte dei miglioramenti in termini di precisione. Rilasciamo in open source i checkpoint quantizzati BF16, MXFP8, NVFP4 e GGUF.