The Pulse
Qwen3-8B supera Llama da 402 miliardi di parametri nella selezione degli strumenti
Un modello Qwen3 con 8 miliardi di parametri, sottoposto a post-training, ha ottenuto il 41,5% nel test di selezione degli strumenti per corrispondenza esatta di ToolBench G3, contro il 30,6% di Llama-4-Maverick. Lo studio riporta anche tes
AI.info Team · Scritto con l’IA · verificato ·
Un modello Qwen3 addestrato, con 8 miliardi di parametri, ha raggiunto il 41,5% di successi per corrispondenza esatta su ToolBench G3, superando il miglior risultato ottenuto tramite prompt da Llama-4-Maverick, un modello da 402 miliardi di parametri, fermo al 30,6%. Il confronto, contenuto in uno studio inviato ad arXiv il 22 ottobre, riguarda un solo compito: scegliere l’insieme giusto di strumenti per istruzioni articolate in più passaggi. Non dimostra che il modello più piccolo sia migliore nei compiti linguistici generali o nell’uso degli strumenti una volta selezionati.
«Su ToolBench, un modello Qwen3-8B sottoposto a post-training con il nostro metodo supera Llama-4-Maverick (402B).»
scrivono Zhaoyi Zhou e gli altri autori, autori di Training Small Language Models for Transferable Tool Selection
Corrispondenze esatte, non solo candidati promettenti
Gli autori eseguono il test su 2.124 istruzioni di ToolBench G3. La loro metrica considera riuscita un’istruzione solo quando l’insieme degli strumenti selezionati corrisponde esattamente all’insieme di riferimento filtrato nello studio: selezionare uno strumento in più o ometterne uno conta come errore. Questo test più rigoroso distingue la scelta degli strumenti dal recupero di un elenco che contenga semplicemente la risposta giusta.
Il modello segue un workflow Plan–Retrieve–Select. Suddivide una richiesta in passaggi, usa un retriever per trovare strumenti candidati per ciascuno, poi seleziona uno strumento tra i candidati. Per esempio, una richiesta di prenotare un volo e trovare un hotel diventa una serie di passaggi distinti, ciascuno con la propria fase di recupero e selezione.
L’addestramento ha contato più del numero di parametri
Il gruppo ha addestrato modelli Qwen3 da 1,7B, 4B e 8B, prima con il fine-tuning supervisionato su esempi sintetici e poi con l’apprendimento per rinforzo. Gli esempi provenivano da traiettorie prodotte usando Llama-4-Maverick come modello insegnante; i ricercatori hanno anche filtrato gli strumenti di riferimento per eliminare quelli che, a loro giudizio, non erano identificabili dalla richiesta dell’utente. Sul set di test, dopo l’addestramento, i modelli da 1,7B e 4B hanno raggiunto rispettivamente il 37,6% e il 40,3%.
Il punteggio di Llama-4-Maverick dipendeva dal modo in cui effettuava la ricerca. Il migliore dei quattro workflow basati su prompt, un approccio in stile Search-R1, ha ottenuto il 30,6%; ReAct ha ottenuto il 28,4%. Il modello ha raggiunto il 10,1% quando è stato eseguito con il workflow dei ricercatori senza l’addestramento specializzato. I risultati confrontano quindi piccoli modelli addestrati per questo compito specifico con un modello molto più grande a cui il compito è stato assegnato tramite prompt, non modelli sottoposti allo stesso regime di addestramento.
Il trasferimento funziona, ma non ovunque
I ricercatori hanno testato gli stessi checkpoint addestrati anche su quattro raccolte di strumenti esterne al set di addestramento. Su Gorilla e CRAFT, il modello da 8B ha ottenuto il 29,9% e il 69,0%; su ToolBench G2 ha ottenuto il 25,8%. Gli autori affermano che i modelli addestrati superano su G2 il migliore termine di confronto non addestrato e mostrano un vantaggio di trasferimento nei test Gorilla e CRAFT, che prevedono un solo strumento.
TaskBench mette in luce un limite: Qwen3-8B ha ottenuto il 72,8%, mentre Llama-4-Maverick con il workflow in stile Search-R1 ha raggiunto l’80,6%. Gli autori attribuiscono il divario alla fase di pianificazione, che, a loro dire, può richiedere conoscenze specifiche del settore. La loro valutazione presuppone inoltre che ogni passaggio possa essere gestito da un solo strumento e che i passaggi non dipendano l’uno dall’altro.
Un nuovo retriever, senza riaddestramento
Il gruppo ha addestrato i modelli usando BM25, un metodo di ricerca lessicale, poi lo ha sostituito con COLT, un retriever denso specializzato per ToolBench. I ricercatori riferiscono che la sostituzione ha migliorato il tasso di successo per tutte le dimensioni dei modelli testate, senza ulteriore addestramento. Il risultato suggerisce che il selettore possa funzionare con un diverso sistema di recupero, anche se il retriever deve comunque individuare almeno un candidato utile.
Il risultato più netto dello studio ha confini precisi: su ToolBench G3, il post-training ha portato Qwen3-8B al 41,5% di successi per corrispondenza esatta, al di sopra di tutti i workflow di Llama-4-Maverick basati su prompt testati dagli autori. La prestazione su TaskBench, dove il workflow di ricerca basato su prompt del modello più grande ha ottenuto un punteggio superiore, mostra perché il confronto del titolo debba restare circoscritto a quel benchmark e a quella metrica.