The Pulse

Cactus rilascia Needle 3, un modello da 9–29 MB per chiamare strumenti sul dispositivo

Cactus Compute ha rilasciato Needle 3, un modello compatto per la selezione locale di strumenti, l’estrazione strutturata e gli embedding di testo su telefoni, dispositivi indossabili, robot e altri piccoli dispositivi. La pagina del prodot

AI.info Team · Scritto con l’IA · verificato · 2026-09-19

Cactus Compute scommette sul fatto che molti assistenti per dispositivi non abbiano bisogno di un chatbot generalista. L’azienda ha rilasciato Needle 3, un modello progettato per selezionare strumenti, compilare argomenti e restituire dati strutturati localmente, con binari distribuiti da 9 MB a 29 MB. Il modello rinuncia alle capacità di conversazione generalista per competere con modelli fino a 10 volte più grandi nei test di chiamata di strumenti su dispositivi mobili, afferma Cactus.

Con questo rilascio, Cactus si pone in diretto contrasto con la progettazione abituale degli agenti per dispositivi: inviare una richiesta a un grande modello nel cloud e attendere che decida quale azione intraprendere. Needle 3 mantiene invece il modello, gli schemi degli strumenti e il motore di inferenza sul dispositivo. Tra i dispositivi a cui è destinato figurano telefoni, orologi, occhiali per la realtà aumentata, automobili, robot, apparecchiature per la casa intelligente e schede di classe microcontrollore.

Needle 3 si concentra su azioni e dati

Needle 3 gestisce tre compiti correlati. Sceglie tra le funzioni messe a disposizione da un’applicazione ed estrae gli argomenti necessari per chiamarle; associa il testo non strutturato a uno schema definito dallo sviluppatore; e produce embedding di testo per la ricerca, la corrispondenza e l’instradamento locali.

Questo ambito ristretto cambia ciò che il modello deve fare. Un assistente a cui viene chiesto di abbassare la luce in una stanza e chiudere una porta a chiave dovrebbe restituire due chiamate in sequenza. Una richiesta per un’azione non supportata dovrebbe produrre una lista vuota, anziché una risposta dall’apparenza plausibile. Per l’estrazione, la grammatica di decodifica garantisce che l’output sia conforme alla struttura richiesta, secondo Cactus.

Il modello fornisce anche un punteggio di confidenza per ogni risposta. Il runtime di Cactus può bloccare una chiamata che non raggiunge una soglia minima di confidenza, permettendo a un’applicazione di agire automaticamente sui risultati ad alta confidenza, chiedere conferma per quelli incerti o rifiutare quando non viene trovato uno strumento adatto. La pagina del rilascio mostra un esempio di risposta contenente una chiamata per il controllo delle luci, un campo di ragionamento, un punteggio di confidenza di 0,94, misure di throughput e il picco di utilizzo della memoria.

L’intervallo da 9–29 MB deriva da una sola architettura a livelli

Needle 3 si basa su quella che Cactus chiama Laddered Simple Attention Network. Gli sviluppatori possono selezionare una sottorete da due a 20 livelli, e ogni profondità è trattata come un modello distribuibile. La versione a 20 livelli contiene 121 milioni di parametri ma, secondo Cactus, esegue i calcoli di un modello più piccolo perché molti parametri si trovano nella sua componente di memoria engram.

La versione rilasciata usa la quantizzazione CQ2, che Cactus descrive come un formato dei pesi a 2 bit. I binari CQ2 distribuiti vanno da 9 MB a 29 MB, secondo la pagina del prodotto, che non fornisce una tabella delle dimensioni per ciascuna profondità. Lo stesso motore può caricare ogni profondità, consentendo agli sviluppatori di bilanciare accuratezza, memoria e velocità in funzione della classe di dispositivi a cui si rivolgono.

Su un Raspberry Pi 5, l’azienda riporta velocità di decodifica che vanno da circa 400 token al secondo al livello più alto della scala a 4.000 token al secondo a quello più basso. Le prestazioni di prefill vanno da 1.000 a 10.000 token al secondo. Sono misurazioni di Cactus, non una valutazione indipendente dell’hardware.

Cactus rivendica un vantaggio nelle chiamate di strumenti su dispositivi mobili

Cactus valuta Needle 3 su tre suite di test per la chiamata di strumenti: Mobile Actions, DroidCall e BFCL v4. La prima copre comandi per telefoni associati a intent di Android su 961 righe; DroidCall contiene 200 richieste per telefoni, compresi casi che richiedono più chiamate in sequenza; BFCL v4 misura la chiamata di funzioni in un singolo turno su 3.641 righe.

Per l’estrazione, l’azienda riporta risultati sugli slot di dialogo DSTC8 e sul dataset SNIPS, includendo sia l’estrazione a livello di campo sia la selezione tra sette schemi. Needle 3 supera modelli 10 volte più grandi nelle chiamate di strumenti su dispositivi mobili ed eguaglia modelli da due a tre volte più grandi nell’estrazione, afferma Cactus. Il confronto include modelli più grandi eseguiti con pesi a precisione più elevata sotto vLLM, oltre a DeepSeek V4 Flash, a cui si è acceduto tramite la sua API cloud.

Questi confronti descrivono una competizione specializzata, non una classifica generale dei modelli linguistici. Needle 3 non viene presentato come un sostituto di un modello che scrive documenti lunghi, risponde a domande generali su fatti o conduce conversazioni aperte. La sua progettazione presuppone che l’applicazione sappia già quali funzioni o schemi sono disponibili e abbia bisogno di un componente compatto per indirizzarvi le richieste.

La distribuzione punta a telefoni e piccole schede

Cactus distribuisce insieme al modello motori specifici per piattaforma. Il rilascio elenca come piattaforme di destinazione macOS, Linux, Windows, Android, iOS, watchOS, tvOS, WebAssembly e WASI. Ogni motore occupa meno di 1 MB e carica separatamente i pesi del modello, consentendo di abbinare gli stessi pesi a diverse librerie native o runtime per browser.

Il pacchetto Python può scaricare il motore e memorizzarlo nella cache locale, mentre la procedura da riga di comando permette di creare una versione distribuibile per una piattaforma e una profondità selezionate. La pagina mostra procedure Python per la chiamata di strumenti, l’estrazione e il fine-tuning, insieme ai comandi per creare una versione distribuibile per una piattaforma e una sottorete scelte.

Le versioni più piccole sono pensate per il fine-tuning

Cactus presenta le sottoreti più piccole come punti di partenza per un fine-tuning specifico per il prodotto, anziché come assistenti universali. Il fine-tuning sul suo task DroidCall migliora ogni sottorete da 18 a 36 punti, e le versioni sottoposte a fine-tuning a partire da quattro livelli superano DeepSeek V4 Flash nel confronto sul task specifico che l’azienda pubblica, afferma Cactus.

La procedura mantiene il modello completo a 20 livelli come base di addestramento, applica LoRA ai pesi congelati e poi esporta un file .cact a quattro bit per il dispositivo scelto. Uno sviluppatore può quindi addestrare il modello completo e produrre una versione distribuibile a due, quattro, otto o 20 livelli senza cambiare l’interfaccia del runtime.

La promessa pratica è circoscritta ma misurabile: selezione degli strumenti, estrazione strutturata e instradamento locale in un pacchetto abbastanza piccolo da stare accanto all’applicazione che controlla.