Vai al contenuto
AI.info

The Pulse

OVHcloud presenta in anteprima Olala mini, il suo primo modello linguistico

OVHcloud ha presentato in anteprima Olala mini 7A1B, il primo modello della sua famiglia di modelli linguistici Olala, prima del lancio ufficiale previsto per il 19 novembre. L’azienda afferma che il modello sarà disponibile su Hugging Face con licenza Apache 2.0 e che Qwant lo sta già utilizzando.

OVHcloud presenta in anteprima Olala mini, il suo primo modello linguistico

La prima famiglia di modelli linguistici di OVHcloud esordirà con un modello compatto che, secondo l’azienda, può funzionare su un processore standard senza GPU. L’azienda ha presentato Olala mini 7A1B in un comunicato stampa del 17 novembre e prevede di renderlo disponibile come open source.

Il lancio ufficiale è previsto per il 19 novembre all’OVHcloud AI Summit, dove l’azienda intende presentare anche le sue offerte cloud e di IA per i clienti. Olala mini è il primo modello di una famiglia chiamata Olala.

Un primo modello compatto

Olala mini ha un’architettura da 7 miliardi di parametri, con un miliardo di parametri attivi distribuiti tra 256 esperti per livello. La sua attenzione ibrida combina Differential-TPA e Mamba-3 e il modello utilizza il formato BF16.

L’azienda afferma che il modello può funzionare su una GPU con appena 8 GB di memoria. Riferisce una velocità di 160 token al secondo su una RTX A4500, oppure di 50 token al secondo su un processore standard senza GPU. La finestra di contesto attuale arriva a 32.000 token.

Olala mini sarà disponibile come open source su Hugging Face con licenza Apache 2.0. Il rilascio include i pesi del modello, un modello base preaddestrato, un rapporto tecnico e la documentazione sulla conformità all’AI Act.

La formazione e un primo utente

Il modello è stato addestrato su tre supercomputer pubblici europei: Jupiter, MeluXina e Jean Zay. Le macchine erano dotate di GPU GH200, A100 e H100.

OVHcloud valuta il sostegno pubblico a un equivalente di 7 milioni di euro in ore di calcolo e afferma che ha contribuito a riunire il team di IA alla base del suo Agentic Lab, OVHai LLM. L’azienda descrive Olala mini come un modello addestrato da zero.

L’azienda afferma che Qwant ha già adottato il modello per la sua funzionalità di risposta rapida. Riferisce risposte più veloci del 20% e costi di gestione ridotti a un terzo rispetto al modello utilizzato in precedenza da Qwant.

Piani per le versioni successive

La versione 1.1 è prevista entro la fine dell’anno. L’aggiornamento programmato porterebbe la finestra di contesto a 128.000 token e migliorerebbe le prestazioni nel ragionamento matematico.

Per la versione 2.0, OVHai LLM intende sviluppare modelli specializzati in tre ambiti: IA agentica per le imprese, DevOps cloud e cybersicurezza. Le versioni DevOps sono destinate a sviluppatori, architetti e team operativi; il lavoro sulla cybersicurezza riguarderebbe sia gli aspetti difensivi sia quelli offensivi.

In futuro Olala dovrebbe anche alimentare OVHai Workspace. La sua versione cifrata richiederà modelli in grado di funzionare localmente su una workstation. L’azienda afferma che Olala v2.0 supererà i 100 miliardi di parametri.

Il CEO Octave Klaba ha detto che OVH deve essere in grado di creare modelli per uso proprio e per i clienti. «Non possiamo semplicemente fare affidamento sulla generosità di alcuni laboratori perché condividano i loro LLM come open source negli anni a venire», ha detto.

Fonte

  1. OVHcloud

Notizie correlate

Esplora

Altri articoli