The Pulse
InclusionAI pubblica Ling-3.1-Flash-1019 con 560 miliardi di parametri
InclusionAI ha pubblicato Ling-3.1-Flash-1019, un modello da 560 miliardi di parametri, di cui 25 miliardi attivi per token, con una finestra di contesto da un milione di token. La versione pubblicata su Hugging Face indica una licenza MIT
AI.info Team · Scritto con l’IA · verificato ·
Ling-3.1-Flash-1019 di InclusionAI ha 560 miliardi di parametri totali, ma ne attiva 25 miliardi per ogni token elaborato. L’azienda ha pubblicato i pesi del modello su Hugging Face con licenza MIT, insieme a una scheda che descrive una finestra di contesto da un milione di token e miglioramenti rispetto al precedente Ling-3.1-Flash.
La versione del 27 ottobre è un checkpoint rivisto, non una nuova famiglia di modelli. InclusionAI afferma che le modifiche apportate dopo l’addestramento hanno migliorato le prestazioni nel ragionamento e nei compiti svolti dagli agenti; i punteggi nella scheda del modello sono risultati riportati dall’azienda stessa, non una conferma indipendente di queste affermazioni.
560 miliardi di parametri, 25 miliardi attivi
Il modello usa un’architettura ibrida lineare mixture-of-experts. Le sue specifiche elencano 512 esperti selezionati tramite instradamento e un esperto condiviso, con otto esperti attivi per ogni token. Questa struttura distingue il numero totale di parametri del modello dal sottoinsieme più piccolo usato durante una singola elaborazione.
Il repository su Hugging Face indica una dimensione di 574 GB e suddivide i pesi del modello in 54 file Safetensors. La scheda identifica tensori di tipo BF16, F8_E4M3 e F32. Il numero totale di parametri e quello dei parametri attivi per token descrivono due cose diverse: 560 miliardi è il totale del modello, mentre 25 miliardi è il numero di parametri attivati per token.
InclusionAI segnala punteggi più alti nei benchmark
Secondo InclusionAI, il modello aggiornato ottiene 1.524 punti Elo su AA-Briefcase, contro circa 1.400 del suo predecessore. L’azienda riporta un aumento dal 62% al 68% su AutomationBench-AA, dal 18% al 26% su CritPt e dal 54% al 57% su SciCode. La scheda attribuisce inoltre a Ling-3.1-Flash-1019 un punteggio di 44 nell’Artificial Analysis Intelligence Index versione 4.3.2, rispetto ai 41 della versione precedente.
«Questi miglioramenti evidenziano le maggiori capacità del modello nel ragionamento complesso, nell’esecuzione di compiti in più passaggi e nei flussi di lavoro basati su agenti, in diversi scenari reali».
InclusionAI, scheda del modello
Questi dati provengono dalla descrizione della versione pubblicata da InclusionAI. Offrono un confronto con la precedente versione di Ling, ma le affermazioni sui benchmark contenute nella scheda del modello non stabiliscono, da sole, come il modello si comporterà nei compiti di un determinato team.
Pesi pubblici, requisiti elevati per l’esecuzione
La licenza MIT chiarisce i termini d’uso del repository e i file sono pubblicamente disponibili per il download. Eseguire il modello è un’altra questione: nelle istruzioni per SGLang, InclusionAI propone come esempio di server una configurazione con otto H200, indicando anche quattro GB300 come alternativa. La scheda del modello include inoltre istruzioni per eseguirlo con vLLM.
La pagina della versione pubblicata indica che Ling-3.1-Flash-1019 non è distribuito tramite gli Inference Providers di Hugging Face. Chi vuole provarlo ha quindi bisogno di un ambiente locale o ospitato adeguato, anziché di un endpoint di un provider pronto all’uso su quella pagina.
Un contesto più lungo, con compromessi pratici
InclusionAI indica una finestra di contesto da un milione di token, una caratteristica pensata per consentire al modello di elaborare input molto più lunghi rispetto ai sistemi con limiti di contesto inferiori. Questa specifica non dimostra, da sola, quanto bene il modello conservi o utilizzi le informazioni nell’intera estensione di un prompt. La dimensione di 574 GB del repository e gli esempi di configurazioni con più GPU rendono evidente il compromesso immediato: i pesi sono accessibili, ma eseguire il modello completo richiede notevoli risorse di calcolo e spazio di archiviazione.
Ling-3.1-Flash-1019 offre agli sviluppatori un checkpoint con licenza che possono esaminare ed eseguire, e InclusionAI ha pubblicato confronti nei benchmark con il modello precedente. Per chi valuta di adottarlo, resta da verificare se i miglioramenti riportati si confermino nelle proprie valutazioni e se i requisiti hardware siano compatibili con i propri piani di distribuzione.