The Pulse

Baidu rilascia i pesi di base di ERNIE 5.5 Flash

Baidu ha rilasciato ERNIE-5.5-Flash-Base, un modello con 280 miliardi di parametri totali, di cui 14 miliardi attivati per token. Il checkpoint di pre-training è disponibile nei formati FP8 e BF16 per ulteriori fasi di addestramento e per l

AI.info Team · Scritto con l’IA · verificato · 2026-11-06

Baidu pubblica il checkpoint di pre-training

Baidu ha rilasciato ERNIE-5.5-Flash-Base il 5 novembre 2026 come insieme di pesi di base destinati a ulteriori fasi di addestramento. Il modello Mixture-of-Experts sparso ha 280 miliardi di parametri totali, di cui 14 miliardi attivati per token. Il checkpoint risale alla fine del pre-training, prima di qualsiasi fase di mid-training o post-training.

Il rilascio presenta i pesi come punto di partenza per l’adattamento a domini specifici, l’instruction tuning e la ricerca sull’apprendimento per rinforzo. Secondo Baidu, il rilascio dei pesi consente agli sviluppatori di costruire sulle capacità generali già acquisite e di scegliere autonomamente come sviluppare il modello. L’azienda descrive inoltre il checkpoint come una base di riferimento priva di modifiche per confrontare metodi di addestramento in condizioni controllate.

L’attenzione ibrida comprime il contesto distante nella maggior parte dei livelli

ERNIE 5.5 Flash utilizza 43 livelli transformer, una dimensione nascosta di 4096 e 64 teste di attenzione. La sua architettura di attenzione ibrida consente l’accesso all’intero contesto a livello di token in un livello ogni sette; gli altri livelli usano la Heavily Compressed Attention, che memorizza nella cache una voce ogni 128 token. Questi livelli prestano attenzione anche a una breve finestra di token recenti non compressi.

I blocchi MoE del modello usano 512 esperti instradati, di cui 10 selezionati per token, insieme a un esperto condiviso. Tutti i livelli tranne il primo usano un blocco feed-forward MoE e gli esperti operano in uno spazio latente a 2048 dimensioni. ERNIE 5.5 Flash sostituisce inoltre la connessione residua standard con quattro flussi residui paralleli collegati attraverso una matrice di miscelazione vincolata.

I dati di addestramento puntano su codice e documenti lunghi

Baidu ha eseguito il pre-training del modello da zero su 33,5 bilioni di token, usando l’ottimizzatore Muon e la precisione mista FP8. Il contesto di addestramento si è ampliato gradualmente fino a 128.000 token, mentre fine-tuning e inferenza supportano un contesto di 1 milione di token. I pesi rilasciati non sono stati sottoposti a mid-training o post-training.

Il corpus descritto comprende materiale web multilingue, codice proveniente da repository e dal web e dati a contesto lungo. Gli esempi di codice includono commit, issue, pull request, revisioni del codice, test generati e correzioni verificate tramite CI. Per l’addestramento su contesti lunghi, il rilascio descrive documenti lunghi naturali, sequenze combinate con distrattori recuperati e dati sintetici per il recupero di informazioni e la risposta a domande.

I benchmark confrontano quattro modelli di base rilasciati

Baidu ha valutato ERNIE-5.5-Flash-Base confrontandolo con DeepSeek-V4-Flash-Base, Hy3-preview-Base e MiMo-V2.5-Base. Secondo quanto riportato nel rilascio, i quattro checkpoint resi pubblici sono stati testati con la stessa infrastruttura di valutazione, gli stessi prompt, esempi few-shot e un LLM usato come giudice per le risposte libere alle domande. Il confronto comprende 30 benchmark in sette categorie.

Nei risultati riportati, ERNIE 5.5 Flash Base ottiene 93,3 su MMLU, 60,2 su GPQA e 82,3 su HumanEval+. Registra 91,7 su RepoQA e 48,7 su LongBench-v2.

Sono disponibili i pesi FP8 e BF16

Il modello è disponibile su Hugging Face come safetensors FP8 e BF16 ai sensi dell’ERNIE 5.5 Flash Base Model License Agreement v1.0. SGLang e vLLM possono servire il modello tramite l’API delle completions e il rilascio rimanda gli utenti a un esempio separato per il fine-tuning. Il rilascio specifica inoltre che gli input devono iniziare con un token BOS e che add_special_tokens=True deve essere mantenuto durante la tokenizzazione.