The Pulse
Microsoft: il 67,24% delle esecuzioni fallite sembrava completato in un test su 12 modelli
La valutazione ThinkingBox di Microsoft ha rilevato che molte esecuzioni fallite di agenti mostravano comunque segni di completamento nella risposta finale dell’agente e nell’attività degli strumenti. Il post descrive anche confronti sulla
AI.info Team · Scritto con l’IA · verificato ·
La valutazione ThinkingBox di Microsoft ha rilevato che il 67,24% delle esecuzioni fallite di agenti mostrava comunque segni di completamento nella risposta finale dell’agente e nell’attività degli strumenti. L’azienda ha verificato i record rimasti nel database, anziché affidarsi al resoconto dell’agente su ciò che aveva fatto. Microsoft ha pubblicato il post il 6 novembre 2026.
Quando l’attività degli strumenti maschera un compito fallito
Su 121.680 prove valide condotte su 12 modelli, 79.853 non hanno superato la verifica eseguibile. Nel 67,24% di questi fallimenti, un agente ha fornito una risposta finale che segnalava il completamento senza porre domande, ha richiamato almeno uno strumento che modifica lo stato e non ha ricevuto errori espliciti nell’ultima risposta di uno strumento. Nel 98,95% dei fallimenti, il database finale era diverso da quello atteso; nel 77,61% un campo aveva un valore errato, nel 43,30% era presente una modifica non richiesta da nessuno e nel 25,36% mancava una modifica necessaria.
Microsoft assegna a ogni esecuzione fallita un’etichetta che ne indica la principale caratteristica di fallimento. In media, tra i modelli valutati, il 79,9% dei fallimenti è stato classificato come dovuto all’uso degli strumenti: tra questi figurano errori degli strumenti, precondizioni non soddisfatte o ricerche senza risultati da cui l’agente non si è ripreso. Gli autori precisano che queste etichette descrivono ciò che emerge dalla traccia, non una causa di fondo accertata.
Superare una prova una volta non è come superarla ogni volta
Il confronto ampliato di Microsoft riporta i risultati di 507 compiti, ciascuno tentato 20 volte. Kimi-K3 ha superato 476 compiti almeno una volta, ma solo 68 in tutti e 20 i tentativi; Claude Opus 5 ne ha superati 401 almeno una volta e 241 in ogni tentativo. I risultati mostrano quanto una classifica basata sul miglior tentativo di un modello possa differire da una basata sulla costanza dei risultati.
GPT-6 Astra ha ottenuto il 58,31% nel pass@1, sotto il 65,36% di GPT-5.4, ma ha superato 231 compiti in tutti e 20 i tentativi, contro i 128 di GPT-5.4. Il post afferma che la misura relativa al superamento di tutti e 20 i tentativi è più rilevante quando un agente modifica record di produzione senza revisione, pur osservando che 20 tentativi riusciti non garantiscono il successo di un tentativo successivo.
I costi di inferenza cambiano a seconda della misura del successo
Microsoft stima i costi di inferenza per un’esecuzione di 507 compiti con 20 tentativi ciascuno, includendo nei totali i tentativi falliti. Le stime usano i prezzi di OpenRouter al 20 settembre 2026 ed escludono l’utente simulato, il giudice, l’infrastruttura, le tariffe negoziate e i costi dei fallimenti successivi. Sono stime, non fatture cloud.
Il costo stimato di GPT-5.6 Sol è di 0,127 dollari per tentativo riuscito e di 9,76 dollari per compito superato in tutti e 20 i tentativi. I tentativi riusciti di Qwen3.8-27B costano 0,177 dollari ciascuno, mentre ogni compito superato in tutti e 20 i tentativi è costato 24,36 dollari. Il confronto presentato nel post ordina i modelli in modo diverso a seconda che misuri il costo per tentativo riuscito o quello per compito superato con costanza.
Microsoft trasforma la verifica in una ricompensa
La verifica eseguibile produce un verdetto binario per ogni tentativo. Per la maggior parte dei compiti si basa su controlli deterministici dello stato finale; una minoranza usa anche un controllo circoscritto della risposta da parte di un modello giudice, per requisiti che un campo del database non può rappresentare. Microsoft ha usato il verdetto come ricompensa per l’apprendimento per rinforzo di Qwen3.8-27B. L’azienda ha addestrato il modello con GRPO, usando gruppi di otto tentativi; in questa configurazione, i gruppi in cui tutti i tentativi riescono o tutti falliscono non forniscono alcun segnale di ricompensa. Microsoft ha selezionato un insieme fisso di 187 compiti di addestramento, testando i compiti candidati con il modello di base e conservando quelli nelle tre fasce di difficoltà intermedie.
L’addestramento ha coinvolto tutti i parametri, usando GRPO con media sui token su 24 GPU H100, e i risultati riportati provengono dal checkpoint 50. Microsoft ha valutato quel checkpoint su tutti i 507 compiti del benchmark, con 20 tentativi per compito, e afferma che nessun compito del benchmark è stato usato nell’addestramento. I compiti di addestramento e di valutazione condividevano comunque il framework ThinkingBox, la progettazione dell’utente simulato, l’approccio alla valutazione e lo stile dei compiti.
Il modello addestrato ha prodotto risultati più ripetibili
Il pass@1 di Qwen3.8-27B è salito dal 51,70% al 60,78% dopo l’addestramento. Il numero di compiti superati in tutti e 20 i tentativi è aumentato da 38 a 107, mentre quello dei compiti superati almeno una volta è sceso da 453 a 446. Il costo stimato per compito superato in tutti e 20 i tentativi è sceso da 24,36 a 8,00 dollari; il post precisa che questi costi successivi all’addestramento applicano le tariffe pubblicate per il modello di base all’uso misurato di token ed escludono l’addestramento.
Nell’esempio dell’hotel mostrato nella Figura 1, il modello addestrato ha lasciato invariati la prenotazione e i pagamenti in tutti e 20 i tentativi. In 19 tentativi tutti i record corrispondevano a quelli attesi; in un tentativo mancava un tag previsto. Microsoft riporta anche miglioramenti ottenuti con sessioni LoRA più piccole: il pass@1 di Qwen3.6-27B è salito dal 32,94% al 53,17% e quello di Qwen3.5-9B dal 5,65% al 13,33%.
I compiti del benchmark e quelli di addestramento sono ricostruzioni sintetiche di flussi di lavoro aziendali con utenti simulati, non traffico di produzione. Microsoft afferma di non aver misurato il trasferimento dei risultati a contesti di agenti non correlati e osserva che una ricompensa basata su verifiche eseguibili premia solo ciò che queste verifiche specificano.