The Pulse
SMITH addestra un modello 4B a creare e usare i propri strumenti
Appier afferma che il suo articolo di ricerca su SMITH è stato accettato a NeurIPS 2026. Il sistema addestra congiuntamente un modello Qwen3 da 4 miliardi di parametri a creare strumenti riutilizzabili e a richiamarli, con test che mostrano
AI.info Team · Scritto con l’IA ·
Il 30 settembre Appier ha annunciato che il suo articolo di ricerca su SMITH era stato accettato a NeurIPS 2026, avanzando una tesi in contrasto con un approccio diffuso agli strumenti di IA: affidare a un modello di grandi dimensioni la creazione di uno strumento e a un modello distinto il suo utilizzo. SMITH addestra invece un unico modello a fare entrambe le cose, usando i risultati delle chiamate agli strumenti per migliorarne la creazione. L’articolo è apparso su arXiv ad agosto e riferisce che un modello Qwen3 da 4 miliardi di parametri ha superato baseline più grandi nella creazione di strumenti su compiti di ragionamento procedurale esclusi dall’addestramento.
Un solo modello crea lo strumento e deve usarlo
I metodi esistenti per creare strumenti generano spesso una funzione al momento dell’inferenza, senza addestrare il modello che la scrive in base alla capacità di un altro modello di comprenderla o richiamarla in modo affidabile. SMITH, acronimo di Schema-grounded Multi-task Iterative Tool Honing, combina la creazione e l’uso degli strumenti in un’unica policy di apprendimento per rinforzo. Il modello crea una funzione Python e uno schema JSON corrispondente; quando in seguito usa lo strumento, vede lo schema anziché il codice sottostante.
«Proponiamo SMITH (Schema-grounded Multi-task Iterative Tool Honing), un framework di apprendimento per rinforzo che addestra congiuntamente la creazione e l’uso degli strumenti all’interno di un’unica policy», scrivono Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Shao-Hua Sun e Hung-yi Lee, autori dell’articolo. L’addestramento alterna la creazione di strumenti a partire da esempi e l’uso di strumenti per rispondere a domande. Ricompense distinte valutano la validità dello schema e del codice e la correttezza delle risposte prodotte dallo strumento.
Quattro esempi, poi 16 domande più difficili
Per un compito di creazione, il modello riceve quattro esempi di domande e risposte e produce una funzione e il relativo schema. I ricercatori testano lo strumento su 16 domande escluse dall’addestramento, appartenenti a una fascia di difficoltà più elevata, poi aggiungono gli strumenti che superano il test a un insieme condiviso per i compiti successivi. La procedura è progettata per premiare una soluzione riutilizzabile, anziché uno strumento che si limiti a replicare gli esempi.
L’esperimento principale sottopone Qwen3-4B-Instruct a fine-tuning su 13 categorie di compiti procedurali di Reasoning-Gym, tra cui aritmetica, algoritmi, algebra, giochi e logica. Gli autori valutano il modello anche su 10 categorie di Reasoning-Gym escluse dall’addestramento. L’abstract dell’articolo riporta un’accuratezza macromedia del 79,8% su questi compiti; la tabella dei risultati riporta il 79,9%, una piccola discrepanza all’interno dell’articolo.
Gli strumenti si trasferiscono tra modelli di diverse dimensioni
Gli autori confrontano SMITH con sistemi che creano strumenti al momento dell’inferenza e con baseline basate su modelli più grandi. Sui compiti di Reasoning-Gym esclusi dall’addestramento, la tabella dell’articolo attribuisce a SMITH un’accuratezza del 79,9%, contro il 74,1% di un modello Qwen3-30B-A3B usato per creare strumenti. I ricercatori riportano inoltre una media di 100 token in output per SMITH, rispetto ai 3.206 del ragionamento chain-of-thought standard nella stessa valutazione.
Gli strumenti creati dal modello 4B addestrato hanno aiutato anche altri modelli. Nei test dell’articolo, l’accuratezza di un modello LFM2.5 da 350 milioni di parametri sui compiti esclusi dall’addestramento è salita dall’11,6% al 42,9% usando gli strumenti di SMITH, leggermente al di sopra del 41,5% ottenuto con gli strumenti creati dal modello 30B-A3B non addestrato. Anche un modello Qwen3-30B-A3B che usava gli strumenti ha ottenuto un risultato migliore con quelli creati da SMITH rispetto a quelli che creava da sé.
I progressi nei benchmark non equivalgono a un test nell’impiego reale
SMITH ha raggiunto il 40,4% su TabMWP-Hard, un benchmark rafforzato di ragionamento tabellare, e il 42,6% su GQA, un benchmark di risposta a domande su immagini; nessuno dei due era presente nell’addestramento. Su GQA, l’articolo colloca SMITH al secondo posto, dietro una baseline distillata da GPT-4.1; gli autori affermano esplicitamente di non sostenere che sia alla pari nella percezione visiva. Questi risultati indicano che il trasferimento va oltre i compiti di addestramento, ma non dimostrano le prestazioni nei flussi di lavoro aziendali reali.
Nel suo annuncio, Appier ha presentato il lavoro come una strada verso agenti che condividono strumenti di comprovata efficacia. Gli esperimenti sostengono un’affermazione più circoscritta: un modello addestrato congiuntamente può creare strumenti che altri modelli testati riutilizzano per risolvere problemi dei benchmark. Il risultato centrale dell’articolo è misurato: sui compiti procedurali esclusi dall’addestramento, un modello 4B che crea strumenti ha superato la baseline più grande per la creazione di strumenti valutata dagli autori.