The Pulse
Thinking Machines rilascia Inkling 2 Mini, un modello a pesi aperti abbastanza piccolo da funzionare su un portatile
Thinking Machines Lab ha rilasciato Inkling 2 Mini, un modello a pesi aperti con un ingombro in memoria di circa 20 GB. L’azienda ha rilasciato anche una variante di ricerca per studiare in che modo i passaggi ripetuti attraverso i layer del modello influiscano sulle prestazioni e sulla supervisione.

Thinking Machines Lab ha rilasciato Inkling 2 Mini, un modello di IA a pesi aperti progettato per funzionare su computer locali. L’azienda afferma che il modello ha un ingombro in memoria di circa 20 GB ed è disponibile tramite la sua piattaforma Tinker per l’inferenza e la personalizzazione.
I pesi possono essere scaricati da Hugging Face con licenza Apache 2.0. Thinking Machines ha rilasciato anche una variante di ricerca separata per studiare in che modo l’architettura ricorsiva del modello influisca sulle prestazioni e sulla supervisione.
Modello e hardware
Inkling 2 Mini accetta input di testo e immagini e genera testo. La scheda del modello indica una finestra di contesto fino a 1 milione di token e descrive gli usi previsti, tra cui assistenti per la programmazione, chatbot e sistemi che utilizzano strumenti.
Il modello è un transformer a mixture of experts, un’architettura che instrada ciascun token verso parti selezionate del modello. I suoi 12 layer centrali vengono eseguiti tre volte con pesi condivisi, producendo 48 applicazioni di layer per token a partire da 24 layer di pesi.
Inkling 2 Mini ha 26,4 miliardi di parametri totali e 3,4 miliardi di parametri attivi. Considerando i passaggi ripetuti, ha 5,4 miliardi di attivazioni dei pesi per token. La maggior parte dei pesi viene addestrata e distribuita con precisione NVFP4, mentre gli ultimi quattro layer usano MXFP8.
L’azienda supporta l’uso locale su dispositivi Apple silicon con almeno 32 GB di memoria e su un NVIDIA DGX Spark. Per altre GPU e piattaforme raccomanda almeno 32 GB di memoria video.
Risultati nei benchmark di programmazione e ricerca
Thinking Machines afferma che Inkling 2 Mini è in testa ai modelli a pesi aperti con meno di 100 miliardi di parametri totali nei benchmark, tra cui DeepSWE v1.1 e Vals Index v2.2. Su DeepSWE v1.1, con mini-swe-agent v2.4.6, riporta un punteggio del 48,2% per il modello, contro il 42,2% di Qwen3.8-27B.
L’azienda riporta anche un punteggio del 46,5% su Vals Index v2.2. Il confronto di velocità pubblicato dall’azienda usa un limite teorico di decodifica di 614 GB/s con pesi BF16 e una dimensione del batch pari a uno, includendo le letture ripetute nei cicli; le configurazioni di valutazione variano da un modello all’altro.
Nei benchmark di ricerca e uso degli strumenti riportati dall’azienda, Inkling 2 Mini ha ottenuto il 79,0% su BrowseComp e l’85,3% su DeepSearchQA, in entrambi i casi con compaction. Thinking Machines afferma che il punteggio di factualità del modello su AA-Omniscience è in linea con quello di altri modelli della stessa dimensione e che ulteriori passaggi nel suo modello di ricerca a cicli variabili non hanno migliorato i benchmark che richiedono una conoscenza approfondita.
Test sui passaggi ripetuti
La struttura ricorsiva permette al modello di eseguire più calcoli senza riportare tutto il suo ragionamento in una catena di pensiero, il testo che può essere letto per monitorarne il lavoro. Thinking Machines ha usato la variante a cicli variabili per i suoi esperimenti di monitoraggio perché consente confronti tra un numero diverso di passaggi.
In quella variante, l’azienda ha misurato un aumento dell’orizzonte temporale senza catena di pensiero, da 16 secondi con un passaggio a 37 secondi con tre. Le prestazioni in un benchmark di ragionamento seriale hanno continuato a migliorare fino a dieci cicli, il doppio del numero usato durante l’addestramento.
Secondo l’azienda, la catena di pensiero scritta dal modello è diventata più breve all’aumentare dei cicli, ma è rimasta leggibile. L’azienda riferisce che, aggiungendo cicli, il modello non ha mostrato una tendenza a ottenere punteggi più alti nei test di sabotaggio agentico.
Fonti
- Fonte originale Thinking Machines Lab · pagina 1 thinkingmachines.ai
Altre pagine lette
- Thinking Machines Lab · pagina 2 thinkingmachines.ai
Notizie correlate
- Transformers 5.23 aggiunge il supporto a Inkling 2 Small
- AWS aggiunge una classifica dei modelli a SageMaker JumpStart
- Microsoft porterà MAI Cyber 2 Flash nei suoi prodotti per la sicurezza
- Microsoft prevede di offrire i pesi dei modelli MAI su licenza tramite accordi con Frontier Company
- Illumina dice che il suo modello di IA ha vinto la sfida sulle cellule virtuali di Arc