The Pulse

StepFun illustra l’architettura a 92 blocchi di Step 5 Preview per gli agenti

StepFun ha pubblicato i dettagli tecnici di Step 5 Preview, un modello a pesi aperti progettato per compiti degli agenti di lunga durata. La sua architettura combina 92 blocchi transformer, attenzione sparsa per contesti lunghi e un sistema

AI.info Team · Scritto con l’IA · 2026-10-15

«La legge di scaling che vogliamo è quella in cui l’orizzonte è illimitato mentre il contesto di lavoro resta finito».

Il team di StepFun

Nel suo articolo tecnico, pubblicato il 15 ottobre, StepFun spiega come ha progettato Step 5 Preview per agenti che affrontano lunghe sequenze di chiamate a strumenti, modifiche al codice e feedback. Secondo l’azienda, per gestire questi compiti ai modelli serve più di un’ampia finestra di contesto: occorrono una profondità sufficiente a mantenere le dipendenze attraverso input lunghi e sistemi di addestramento capaci di apprendere da attività prolungate.

I pesi del modello sono disponibili nel repository Hugging Face di StepFun. L’articolo dell’azienda illustra l’architettura e l’approccio all’addestramento, ma non fornisce prove indipendenti che il modello superi i concorrenti.

Perché StepFun ha scelto 92 blocchi transformer

Step 5 Preview adotta un’architettura che StepFun definisce «stretta ma profonda», con 92 blocchi transformer. La motivazione dell’azienda riguarda soprattutto il prefilling di contesti lunghi: quando un agente chiama ripetutamente degli strumenti, il modello deve elaborare quantità crescenti di contesto e, secondo StepFun, reti più profonde offrono alle informazioni più spazio per propagarsi attraverso questi input. L’azienda preferisce aumentare direttamente la profondità anziché ricorrere ad architetture transformer ricorrenti o a ciclo.

I livelli di attenzione si alternano secondo uno schema 3:1: tre livelli efficienti per ogni livello di attenzione sparsa completa. Per i livelli efficienti, StepFun ha scelto Gated Sliding Window Attention, citando la semplicità di implementazione e, nei suoi test, un divario prestazionale marginale rispetto ad alternative più elaborate. Il percorso di attenzione completa usa Gated Grouped-Query Attention, con un metodo di indicizzazione sparsa che l’azienda chiama Sparse GQA.

Sparse GQA punta a un contesto di 1 milione di token

StepFun afferma che il suo modello supporta contesti lunghi fino a 1 milione di token, una scala alla quale l’attenzione completa può diventare un costo rilevante nell’addestramento e nell’inferenza. Sparse GQA seleziona i blocchi rilevanti del contesto precedente anziché elaborare uniformemente l’intera cronologia. Per ridurre il costo dell’indicizzazione e della selezione, l’architettura raggruppa i token in blocchi da otto; secondo StepFun, questo riduce tali costi di otto volte.

L’azienda riferisce di usare un valore top-k di 4.096 con questi blocchi da otto token. Nel suo confronto, la copertura dei token ha raggiunto il 78,06%, contro il 79,09% di una configurazione di riferimento con blocchi da un solo token e un valore top-k di 2.048. I dati descrivono un esperimento condotto da StepFun, non un benchmark indipendente.

Secondo l’articolo, l’addestramento di una rete così profonda ha comportato anche problemi di stabilità, tra cui esplosioni numeriche e picchi nei gradienti. StepFun afferma di usare nell’addestramento FP8 a precisione mista, mantenendo gli stati nascosti e i relativi gradienti in FP32; usa inoltre FP32 per il fattore di scala di RMSNorm. Secondo l’azienda, queste modifiche riducono i picchi estremi delle attivazioni e rendono più regolare il comportamento quando i valori di scala si avvicinano a meno uno.

Gli agenti aiutano a creare i compiti e a gestire le lunghe sequenze di esecuzione

StepFun descrive una pipeline di dati in cui gli agenti coordinano la costruzione dei compiti sulla base di principi scritti da esperti e di controlli di qualità. Il sistema condivide tra i progetti le specifiche dei compiti, le impostazioni dell’ambiente, i risultati intermedi e i feedback precedenti, mentre ai ricercatori resta la responsabilità delle valutazioni specialistiche e delle verifiche. StepFun afferma di aver creato più di un milione di ambienti impegnativi e verificabili nell’ambito del ragionamento scientifico, dell’ingegneria del software, della ricerca sull’apprendimento automatico e delle attività professionali.

L’azienda tiene inoltre traccia dei compiti di addestramento in base alla durata, alla profondità e alla loro capacità di distinguere tra i tentativi degli agenti. Il suo sistema di apprendimento per rinforzo registra ogni sequenza di esecuzione in un registro del ciclo di vita, per affrontare il rischio che i campioni lunghi e difficili vadano persi prima di arrivare all’addestramento. Secondo StepFun, il registro e le registrazioni dei singoli turni hanno portato il tasso di perdita dei campioni nell’intero processo sotto l’1%.

Per le attività che durano più di quanto consenta una finestra di contesto, StepFun afferma di addestrare gli agenti a compattare i progressi compiuti in uno stato da cui poter riprendere e proseguire. Attribuisce inoltre penalità a specifici turni errati, come quelli con chiamate a strumenti malformate, anziché distribuire la responsabilità sull’intera sequenza. Si tratta di scelte progettuali dichiarate dall’azienda: l’articolo descrive metodi e osservazioni tecniche, non una valutazione indipendente del comportamento che ne deriva.

I pesi sono soggetti a requisiti di distribuzione e limiti di licenza

Il repository ufficiale elenca un checkpoint FP8 da 650 GB e include la StepFun Model License 1.0. La licenza consente l’uso, la copia, la modifica e la distribuzione secondo i suoi termini, ma richiede anche un accordo commerciale separato per determinati usi commerciali, tra cui alcune implementazioni su dispositivi hardware e alcune attività che offrono modelli come servizio al di sopra di una soglia di ricavi. «Pesi aperti», quindi, non significa uso commerciale senza restrizioni.

Anche la guida alla distribuzione di StepFun prevede requisiti hardware elevati: riporta esempi di configurazioni FP8 con quattro GPU B300 o otto GPU H200 e precisa che il fabbisogno effettivo di memoria varia in base alla lunghezza del contesto e al numero di esecuzioni simultanee. Il compromesso concreto di questa versione è dunque un modello scaricabile con un obiettivo di contesto di 1 milione di token, il cui funzionamento richiede comunque un’infrastruttura considerevole e un’attenta considerazione della licenza.