Vai al contenuto
AI.info

The Pulse

Nace pubblica i pesi di Drex 1.5 da 9 miliardi di parametri con una licenza restrittiva

Nace.AI ha pubblicato Drex 1.5, un modello decisionale da 9 miliardi di parametri che restituisce le probabilità delle opzioni fornite anziché generare testo. I suoi pesi e il codice di inferenza sono disponibili su Hugging Face, ma una lic

Nace pubblica i pesi di Drex 1.5 da 9 miliardi di parametri con una licenza restrittiva

AI.info Team · Scritto con l’IA · verificato ·

Un modello decisionale di Nace.AI: legge uno stato (testo o JSON) e domande tipizzate (choice, noul, score ordinale) e restituisce una probabilità per ogni opzione con un solo passaggio in avanti per domanda.

Scheda del modello Nace.AI Drex 1.5

Nace.AI ha pubblicato i pesi di Drex 1.5 venerdì 9 ottobre, insieme al codice per eseguire il modello in locale. Il modello da 8,95 miliardi di parametri è progettato per valutare decisioni anziché formulare risposte: gli sviluppatori forniscono uno stato in formato testo o JSON e domande tipizzate, e Drex restituisce le probabilità per le opzioni indicate. Drex non genera testo, si legge nella scheda del modello.

Drex valuta le scelte invece di scrivere risposte

Il modello supporta tre tipi di domanda: choice per scegliere tra etichette, noul per la probabilità di un sì o di un no e score ordinale per una scala ordinata. Una testa separata di tipo pointer valuta le opzioni usando gli stati nascosti del backbone. Poiché le risposte possibili sono fornite da chi effettua la chiamata, Drex non può aggiungere una nuova opzione all’elenco.

Questa architettura è pensata per componenti come il routing, la classificazione e la selezione degli strumenti, nei quali il software ha bisogno di una risposta circoscritta anziché di un paragrafo da analizzare. Nace include uno script di inferenza e un server HTTP locale che accetta richieste tramite un endpoint /v1/systemone. La scheda del modello documenta anche l’esecuzione di una versione quantizzata tramite llama.cpp o il fork di Ollama di Nace.

Il punteggio di 58,08 e il confronto ravvicinato

Nella parte pubblica di Decision Index 0.3.1, che comprende 37 benchmark in cinque aree, Nace riporta un punteggio di 58,08. La scheda del modello colloca Jev 1.13.0 a 57,96 e Bespoke Nimble 9B v3 a 57,19; afferma che Drex, Jev e Nimble rientrano nella fascia di parità di 0,9 punti della classifica. Drex supera Jev in 20 dei 37 benchmark, secondo Nace.

La scheda precisa che il risultato di Drex proviene da un’esecuzione del kit di benchmark effettuata dalla stessa Nace, mentre i dati di confronto per gli altri modelli provengono dalla classifica. In una valutazione separata su JevBench composta da 231 elementi, Drex ottiene l’86,2%, sotto l’87,0% di Jev; entrambi ottengono il 73,9% nel livello difficile. Nace riporta inoltre un’accuratezza del 93,4% e una latenza mediana di 2 secondi per le domande su documenti lunghi che utilizzano da 32.000 a 128.000 token.

L’uso in locale richiede molta memoria e una verifica della licenza

I pesi bf16 occupano circa 18 GB e l’inferenza tramite Python richiede una GPU CUDA. Una versione Q8_0 GGUF occupa circa 9,5 GB ed è documentata per l’uso su Apple silicon e CPU tramite strumenti supportati. Il limite di contesto del modello arriva a 131.072 token, anche se la scheda del modello indica 16.384 come valore predefinito.

«Aperto», in questo caso, comporta limiti precisi. I pesi utilizzano la versione modificata da Nace della licenza Open RAIL-M, non una licenza priva di restrizioni: limita alcuni usi e prevede che l’uso commerciale da parte di organizzazioni che superano determinate soglie di fatturato o finanziamento richieda una licenza scritta separata. Per gli sviluppatori che valutano Drex, i pesi pubblicati e le istruzioni per l’esecuzione in locale sono quindi solo una parte della decisione sull’impiego del modello; anche i termini della licenza determinano chi può usarlo e come.

Fonti

Notizie correlate

Esplora

Altri articoli