The Pulse
OVHcloud presenta in anteprima Olala mini, il suo primo modello linguistico
OVHcloud ha presentato in anteprima Olala mini 7A1B, il primo modello della sua famiglia di modelli linguistici Olala, prima del lancio ufficiale previsto per il 19 novembre. L’azienda afferma che il modello sarà disponibile su Hugging Face con licenza Apache 2.0 e che Qwant lo sta già utilizzando.

La prima famiglia di modelli linguistici di OVHcloud esordirà con un modello compatto che, secondo l’azienda, può funzionare su un processore standard senza GPU. L’azienda ha presentato Olala mini 7A1B in un comunicato stampa del 17 novembre e prevede di renderlo disponibile come open source.
Il lancio ufficiale è previsto per il 19 novembre all’OVHcloud AI Summit, dove l’azienda intende presentare anche le sue offerte cloud e di IA per i clienti. Olala mini è il primo modello di una famiglia chiamata Olala.
Un primo modello compatto
Olala mini ha un’architettura da 7 miliardi di parametri, con un miliardo di parametri attivi distribuiti tra 256 esperti per livello. La sua attenzione ibrida combina Differential-TPA e Mamba-3 e il modello utilizza il formato BF16.
L’azienda afferma che il modello può funzionare su una GPU con appena 8 GB di memoria. Riferisce una velocità di 160 token al secondo su una RTX A4500, oppure di 50 token al secondo su un processore standard senza GPU. La finestra di contesto attuale arriva a 32.000 token.
Olala mini sarà disponibile come open source su Hugging Face con licenza Apache 2.0. Il rilascio include i pesi del modello, un modello base preaddestrato, un rapporto tecnico e la documentazione sulla conformità all’AI Act.
La formazione e un primo utente
Il modello è stato addestrato su tre supercomputer pubblici europei: Jupiter, MeluXina e Jean Zay. Le macchine erano dotate di GPU GH200, A100 e H100.
OVHcloud valuta il sostegno pubblico a un equivalente di 7 milioni di euro in ore di calcolo e afferma che ha contribuito a riunire il team di IA alla base del suo Agentic Lab, OVHai LLM. L’azienda descrive Olala mini come un modello addestrato da zero.
L’azienda afferma che Qwant ha già adottato il modello per la sua funzionalità di risposta rapida. Riferisce risposte più veloci del 20% e costi di gestione ridotti a un terzo rispetto al modello utilizzato in precedenza da Qwant.
Piani per le versioni successive
La versione 1.1 è prevista entro la fine dell’anno. L’aggiornamento programmato porterebbe la finestra di contesto a 128.000 token e migliorerebbe le prestazioni nel ragionamento matematico.
Per la versione 2.0, OVHai LLM intende sviluppare modelli specializzati in tre ambiti: IA agentica per le imprese, DevOps cloud e cybersicurezza. Le versioni DevOps sono destinate a sviluppatori, architetti e team operativi; il lavoro sulla cybersicurezza riguarderebbe sia gli aspetti difensivi sia quelli offensivi.
In futuro Olala dovrebbe anche alimentare OVHai Workspace. La sua versione cifrata richiederà modelli in grado di funzionare localmente su una workstation. L’azienda afferma che Olala v2.0 supererà i 100 miliardi di parametri.
Il CEO Octave Klaba ha detto che OVH deve essere in grado di creare modelli per uso proprio e per i clienti. «Non possiamo semplicemente fare affidamento sulla generosità di alcuni laboratori perché condividano i loro LLM come open source negli anni a venire», ha detto.
Fonte
Notizie correlate
- AWS illustra uno stack open source per agenti WhatsApp su Bedrock
- Google pianifica aggiornamenti del client Python di Kubernetes per i carichi di lavoro di IA
- llama.cpp 1.0 definisce le regole di versionamento per gli sviluppatori di IA in locale
- TIER IV pubblica modelli di IA per la guida adatti a diverse configurazioni di sensori
- Tokenizers v1 di Hugging Face codifica fino a 30 volte più velocemente