The Pulse
Fluid Inference converte tre modelli Decision 3.0 per i chip Apple
Fluid Inference ha convertito tre modelli Decision 3.0 nel formato Core ML di Apple e li ha testati su un MacBook Pro con chip M5 Pro. Il post riporta i punteggi JevBench, i tempi di risposta alle richieste e alcune dimostrazioni con testo,
AI.info Team · Scritto con l’IA ·
In un test su un Apple M5 Pro, d3-mini di Decision 3.0 ha ridotto il tempo mediano di risposta alle richieste JevBench da 438 a 169 millisecondi, secondo un post di Alex Weng di Fluid Inference pubblicato l’11 ottobre 2026. Fluid Inference ha convertito nel formato Core ML di Apple tre modelli più piccoli della famiglia multimodale per le decisioni — d3-lite, d3-nano e d3-mini — e ha realizzato dimostrazioni con testo, screenshot e video in diretta.
Con questo rilascio, le decisioni dei modelli vengono elaborate sui chip Apple. Una richiesta può essere gestita senza un viaggio di andata e ritorno sulla rete e, secondo il post, la pull request, la pagina web o il video in esame rimane sul Mac. I modelli Core ML e un runtime Swift sono disponibili nel repository Hugging Face collegato.
Tre dimensioni dei modelli, testate su un solo M5 Pro
Fluid Inference ha confrontato le versioni Core ML con le versioni PyTorch originali su un MacBook Pro con chip M5 Pro e 24 GB di memoria. Nella suite pubblica JevBench, composta da 231 attività, d3-lite ha ottenuto il 74,0% in Core ML contro il 73,2% in PyTorch; d3-nano il 75,8% contro il 75,3%; e d3-mini l’81,8% in entrambi i casi.
Nella porzione TEST di typed-decisions, composta da 2.000 domande, i risultati Core ML sono stati del 51,6% per d3-lite, del 62,7% per d3-nano e del 73,9% per d3-mini. I risultati PyTorch corrispondenti sono stati del 51,6%, del 62,7% e del 73,6%. Il post avverte che le etichette di typed-decisions provengono da annotatori che a volte non concordano e che i punteggi JevBench sono risultati basati sulla corrispondenza esatta delle etichette nella suite pubblica, non quelli della classifica riservata né il suo punteggio composito.
I tempi mediani di risposta alle richieste JevBench sono scesi da 204 a 53 millisecondi per d3-lite, da 173 a 69 millisecondi per d3-nano e da 438 a 169 millisecondi per d3-mini. Questi tempi includono un viaggio di andata e ritorno HTTP locale ed entrambi i backend hanno elaborato una richiesta alla volta. Fluid Inference riporta dimensioni di download rispettivamente di 3,7 GB, 10,5 GB e 19,6 GB.
Core ML esegue il modello; l’applicazione host prepara ogni decisione
I modelli usano una struttura di base Qwen3.5 e un piccolo modulo di lettura FP32 che assegna un punteggio alle opzioni disponibili in corrispondenza del token finale del prompt. Core ML esegue la struttura di base e la componente visiva; l’applicazione host gestisce gli embedding dei token, i calcoli delle posizioni e il modulo di lettura a 255 uscite. Ogni domanda richiede un solo passaggio in avanti e il modello restituisce punteggi anziché generare una risposta testuale.
Con precisione FP16, il grafo testuale di d3-mini occupa 6,7 GB per ciascuna fascia di lunghezza. Caricare due fasce contemporaneamente ha provocato la paginazione della memoria GPU sul Mac da 24 GB usato per il test, con passaggi che richiedevano da 8 a 12 secondi; secondo il post, i pesi a 8 bit consentono di mantenerle entrambe in memoria. La conversione ha utilizzato PyTorch 2.7 e coremltools 9.0.
Le dimostrazioni mostrano gli impieghi dei piccoli modelli per le decisioni
In una dimostrazione, d3-lite ha classificato 1.000 pull request di esempio per gruppo di lavoro vLLM-SR e tipo di modifica, elaborandone ciascuna in 0,12 secondi. Su pull request reali del progetto, le etichette del gruppo di lavoro assegnate da d3-mini coincidevano con quelle dei manutentori per 134 elementi su 168, e i tag relativi al tipo di modifica per 153 su 182.
Un’altra dimostrazione usa d3-mini per scegliere i link dagli screenshot durante la navigazione di un catalogo di libri. Nel test ha raggiunto tutti i 17 obiettivi, impiegando circa 2,2 secondi per clic; secondo il post, il modello ha confrontato i valori in modo meno affidabile quando gli è stato chiesto di scegliere tra quelli presenti su un’intera pagina, raggiungendo 9 obiettivi su 17 in quella configurazione. Per i video in diretta, il modello esamina i quattro secondi più recenti — otto fotogrammi a due fotogrammi al secondo — e impiega 1,1 secondi per verifica su Core ML, contro i 2,4 secondi di PyTorch sullo stesso Mac.
Le misurazioni riportate riguardano un solo M5 Pro, l’esecuzione su GPU e test con una richiesta alla volta. Non stabiliscono come si comportino i modelli su altri chip Apple o con carichi di lavoro concorrenti.