The Pulse
NaiveAI presenta un modello da 309 miliardi di parametri con un contesto di 1 milione di token
NaiveAI ha annunciato Naive-N0.5-Flash, un modello a pesi aperti da 309 miliardi di parametri, di cui 15,5 miliardi attivi, con una finestra di contesto nativa di 1 milione di token. L’azienda afferma di aver impiegato la ricerca assistita
AI.info Team · Scritto con l’IA · verificato ·
Il nuovo modello di NaiveAI ha 309 miliardi di parametri, ma ne attiva 15,5 miliardi per ogni token elaborato. L’azienda ha annunciato Naive-N0.5-Flash il 27 settembre come modello a pesi aperti per la programmazione e la ricerca sull’IA, con una finestra di contesto nativa di 1 milione di token.
La principale affermazione tecnica alla base del lancio è che il modello gestisce quel contesto senza alcun livello di attenzione completa. NaiveAI afferma che i pesi e il codice di inferenza sono distribuiti con licenza MIT; i dati sulle prestazioni, tuttavia, provengono dai test dell’azienda.
Un milione di token senza attenzione completa
Naive-N0.5-Flash è un modello mixture-of-experts, un’architettura che attiva solo una parte dei parametri totali per ciascun token. NaiveAI afferma che la sua architettura di attenzione combina Sliding-Window Attention e DeepSeek Sparse Attention, prevalentemente in un rapporto di 5 a 1. L’azienda descrive la rete come interamente locale o sparsa, senza livelli di attenzione completa.
Questa architettura mira a rendere praticabile l’elaborazione di input molto lunghi senza applicare l’attenzione completa all’intera sequenza. Il modello è destinato alla programmazione e alla ricerca e sviluppo sull’IA, comprese le attività di ricerca che possono accumulare lunghe cronologie di osservazioni, risultati degli strumenti e scambi precedenti.
NaiveAI dichiara 2.122 token al secondo
La pagina dedicata alla ricerca di NaiveAI riporta due dati di velocità correlati. Nella panoramica si legge che il sistema di inferenza NaiveRT può raggiungere fino a 2.000 token al secondo; una successiva sezione dedicata ai benchmark indica un picco di 2.122 token al secondo per un singolo flusso su otto GPU.
Il dato di 2.122 token è misurato nel migliore intervallo di un secondo, con il thinking disattivato e il prefill escluso, su 41 richieste di generazione HTML e SVG. L’azienda riferisce inoltre che un ciclo completo di decodifica speculativa ha richiesto 3,4 millisecondi sul suo sistema, contro i 12,3 millisecondi di SGLang sullo stesso hardware. Si tratta di misurazioni fornite dall’azienda, non di una valutazione indipendente.
L’IA ha contribuito a sviluppare il modello e il suo sistema di esecuzione
NaiveAI afferma che i sistemi di IA hanno contribuito a esplorare e progettare l’architettura di attenzione ibrida del modello e a ottimizzare i sistemi di addestramento, inferenza e distribuzione. Secondo l’azienda, i ricercatori umani stabiliscono la direzione da seguire e decidono quali lavori accettare.
«I ricercatori umani stabiliscono la direzione, definiscono vincoli e criteri e prendono le decisioni cruciali.»
NaiveAI Team
L’azienda presenta il modello sia come uno strumento per la ricerca sull’IA sia come un prodotto della ricerca assistita dall’IA. NaiveAI afferma di aver sviluppato NaiveRT attraverso 151 prove di ottimizzazione documentate, adottando 63 modifiche e scartandone o annullandone altre. Aggiunge che il codice sorgente del sistema di esecuzione e i materiali dei benchmark saranno disponibili entro il 12 ottobre.
I pesi sono stati pubblicati; l’accesso tramite API deve ancora arrivare
NaiveAI afferma che i pesi del modello e il codice di inferenza sono distribuiti con licenza MIT. L’azienda indica inoltre prezzi previsti per l’API di 0,10 dollari per milione di token in input, 0,40 dollari per milione di token in output e 0,01 dollari per milione di token letti dalla cache, precisando che l’accesso tramite API sarà disponibile in futuro.
Il lancio lascia agli utenti due aspetti da verificare nella pratica: se il modello mantenga una qualità utile su un contesto di 1 milione di token e se la velocità dichiarata di NaiveRT si confermi con carichi di lavoro e hardware diversi da quelli usati dall’azienda per i benchmark.