The Pulse
Ollama 0.40.4 porta i modelli decisionali nella CLI e gli embedding multimodali
La versione 0.40.4 di Ollama, pubblicata il 12 ottobre, aggiunge comandi da terminale per i modelli decisionali e il supporto agli embedding multimodali tramite llama-server. L’aggiornamento migliora anche il riutilizzo dei modelli ed esten
AI.info Team · Scritto con l’IA ·
La versione 0.40.4 di Ollama porta le attività dei modelli decisionali nella riga di comando e aggiunge il supporto agli embedding multimodali tramite llama-server. Pubblicato il 12 ottobre, l’aggiornamento include anche un esempio da eseguire direttamente nel terminale: ollama run nimble --ask "Is a refund being requested?" < ticket.txt. Le note di rilascio descrivono i modelli decisionali come strumenti per rispondere a domande a cui si può rispondere con sì o no, classificare testi e assegnare punteggi in base a una griglia di valutazione.
I modelli decisionali arrivano nel terminale
Il nuovo comando consente agli utenti di porre a un modello decisionale una domanda su un testo senza dover prima costruire una richiesta per l’API decisionale di Ollama. Nell’esempio, il comando invia a Nimble il contenuto di un file relativo a un ticket e chiede se vi sia una richiesta di rimborso. Il compito resta così incentrato su una risposta definita, anziché chiedere a un modello di chat generalista di formulare una risposta libera.
I modelli decisionali funzionano tramite l’endpoint /v1/systemone di Ollama, che, secondo la documentazione, richiede la versione 0.35.0 o successiva. L’interfaccia accetta uno stato e una o più domande tipizzate e restituisce scelte strutturate, probabilità o punteggi anziché normale testo generato. Ollama indica tra gli impieghi la classificazione dei testi, le risposte a domande a cui si può rispondere con sì o no e l’attribuzione di punteggi ai testi in base a una griglia di valutazione; il comando della versione 0.40.4 rende queste attività eseguibili direttamente dalla shell.
Gli embedding multimodali arrivano in llama-server
La versione 0.40.4 aggiunge il supporto agli embedding multimodali tramite llama-server e corregge il caricamento dei modelli di embedding multimodali con finestre di contesto ridotte. Le note non indicano un nuovo modello di embedding appena rilasciato né specificano quali modalità siano disponibili attraverso questo supporto del server. Gli embedding rappresentano l’input sotto forma di vettori usati in attività come la ricerca e il recupero di informazioni; i sistemi multimodali possono collocare diversi tipi di input in uno spazio di rappresentazione condiviso.
La libreria dei modelli di Ollama descrive EmbeddingGemma 2, sviluppato da Google DeepMind, come un modello multimodale che mappa testo, immagini, video e audio in un unico spazio vettoriale a 768 dimensioni. La sua scheda nella libreria fornisce un comando pull di Ollama ed esempi che usano l’endpoint /api/embed. Il supporto a llama-server introdotto con questa versione è una modifica dell’ambiente di esecuzione; le note di rilascio non affermano che sia la versione 0.40.4 a introdurre EmbeddingGemma 2.
Altre modifiche riguardano Apple Silicon e l’inferenza
La versione aggiunge anche il supporto ai modelli decisionali Kev nel runner MLX di Ollama su Apple Silicon. Ollama afferma che i suoi percorsi di inferenza ora riutilizzano manifest verificati e modelli già caricati e che ha aggiornato llama.cpp con il supporto nativo ai modelli decisionali. A queste modifiche si affiancano miglioramenti delle prestazioni di prefill di Gemma 4 sulle GPU NVIDIA usando il runner MLX e modifiche al modo in cui il runner gestisce gli stati Laya lunghi.
Altre novità sono rivolte agli sviluppatori che usano le integrazioni di Ollama. Il comando ollama launch codex ora mostra i modelli Ollama installati localmente nel selettore dei modelli di Codex, dove gli utenti possono cambiare modello con /model. Ollama afferma inoltre che ollama launch può usare i crediti di utilizzo senza richiedere il passaggio a un piano a pagamento.
Una via più ampia per ottenere output strutturati dai modelli
La novità principale non è una nuova famiglia di modelli decisionali, ma un nuovo modo di richiamarli dal terminale, accompagnato da modifiche al backend per gli embedding multimodali. Gli sviluppatori possono ora inserire in un comando della shell una domanda definita di classificazione o attribuzione di un punteggio, mentre la modifica al server estende il supporto ai modelli di embedding che gestiscono input diversi dal testo. Le note di rilascio non forniscono dettagli sulla compatibilità con i singoli modelli né dati sulle prestazioni; l’esempio concreto che riportano è il comando Nimble per verificare se un ticket contiene una richiesta di rimborso.