The Pulse
OpenBMB: il suo modello visivo da 35B funziona su iPhone a 13 token al secondo
OpenBMB ha rilasciato MiniCPM-V 4.7 il 12 ottobre, con un modello visivo mixture-of-experts 35B-A3B e una versione più piccola da 1B. L’azienda dichiara velocità superiori a 13 token al secondo su un iPhone 17 Pro Max, mentre la guida della
AI.info Team · Scritto con l’IA ·
Più di 13 token al secondo su un iPhone: è il dato su cui OpenBMB punta per presentare MiniCPM-V 4.7, un modello di visione e linguaggio con 35 miliardi di parametri totali. L’azienda afferma che la versione mixture-of-experts 35B-A3B ha raggiunto questa velocità di decodifica su un iPhone 17 Pro Max usando 3 GB di memoria. OpenBMB ha rilasciato il modello il 12 ottobre, insieme a una versione distinta da 1B.
Come OpenBMB porta un modello da 35B su uno smartphone
Secondo la documentazione di rilascio, MiniCPM-V 4.7 gestisce immagini, immagini multiple, documenti e video. OpenBMB descrive la versione 35B-A3B come il primo modello MoE della famiglia MiniCPM-V: la sigla «A3B» indica 3 miliardi di parametri attivi, anziché l’impiego di tutti i 35 miliardi per ogni token. Il modello supporta inoltre la compressione mista dei token visivi a 4× e 16×, che consente agli sviluppatori di ridurre il carico computazionale rinunciando a parte dei dettagli delle immagini.
La velocità dichiarata si basa su una configurazione di inferenza progettata tenendo conto dei limiti di memoria e spazio di archiviazione degli smartphone. OpenBMB afferma che il modello «raggiunge una velocità di decodifica di 13+ token/s con soli 3 GB di memoria su iPhone 17 Pro Max». L’azienda attribuisce il risultato a Lookahead Expert Scheduling, che prevede e precarica gli expert di cui avrà probabilmente bisogno il livello successivo, oltre che alla quantizzazione dei pesi e a una disposizione ottimizzata dei dati in memoria di archiviazione, che riducono lo spazio occupato e accelerano il caricamento.
Il dato dei 3 GB non rappresenta il requisito completo dello smartphone
Il repository dell’app complementare di OpenBMB aggiunge una precisazione importante: nella versione per smartphone, i pesi degli expert vengono caricati progressivamente da un SSD anziché essere mantenuti tutti in memoria. La guida raccomanda 12 GB di RAM del dispositivo per la versione 35B-A3B e afferma che la configurazione è stata verificata su un iPhone 17 Pro Max da 12 GB. La guida stima un download di 16,6 GB e circa 17 GB di spazio di archiviazione libero, comprendenti il file principale del modello, il proiettore visivo e 40 shard degli expert.
La distinzione è importante: il dato dei 3 GB nell’annuncio del modello non significa che l’intero download del modello occupi 3 GB di spazio di archiviazione sullo smartphone, né che possa funzionare su qualsiasi smartphone da 3 GB. L’app per smartphone usa un pacchetto suddiviso, installato sul dispositivo, e carica progressivamente i pesi degli expert dallo spazio di archiviazione; secondo OpenBMB, gli smartphone con meno RAM ricorrono a una cache degli expert più piccola e funzionano molto più lentamente. La guida precisa inoltre che lo speciale pacchetto suddiviso è destinato alla demo, non a una distribuzione del modello per uso generale.
OpenBMB affianca al modello MoE un modello da 1B
La variante più piccola di MiniCPM-V 4.7 è un modello denso da 1B, non un MoE. OpenBMB afferma che supera il precedente MiniCPM-V 4.6 e Qwen3.5 0.8B nei confronti di prestazioni ed efficienza riportati dall’azienda, mentre il modello 35B-A3B ottiene punteggi più alti e richiede meno tempo per l’inferenza rispetto a Qwen3.6 35B-A3B in modalità Instruct. Il testo della documentazione di rilascio non fornisce risultati numerici dei benchmark, quindi questi confronti restano affermazioni degli sviluppatori.
Il rilascio supporta l’uso su iOS, Android e HarmonyOS e indica la compatibilità con chip Arm, Intel, AMD, Rockchip e Houmo. OpenBMB afferma che il codice e i pesi del modello sono disponibili con licenza Apache-2.0. Il repository dell’app complementare fornisce app di esempio per smartphone e la configurazione specifica dello spazio di archiviazione necessaria per provare il modello da 35B in locale.